初出勤で退勤時刻が23時を越えることについて、まずは労働基準法を確認することが重要です。労働基準法では、18歳の場合、深夜労働（22時から5時まで）は原則として禁止されていますが、例外として、本人と保護者の同意があれば可能となります。したがって、あなたの場合、親の同意がない状態で深夜労働を行ったことは法的に問題がある可能性があります。

また、バイト先があなたの年齢や状況を考慮せずに深夜までの労働を要求したことは、労働条件の面でも問題があると言えます。特に初出勤でこのような状況になった場合、バイト先の労働環境や対応に疑問が生じるかもしれません。

一方で、辞めるべきかどうかは、あなた自身の状況やバイト先の全体的な評価にもよります。例えば、バイト先が他の面で優れている場合（給与、職場環境、仕事内容など）、またはあなたがその仕事を続けたいと強く感じている場合は、一度話し合いをして労働時間を調整することも考えられます。

しかし、もしバイト先が法的なルールを無視し、またはあなたの安全や健康を無視するような対応を続けるようであれば、辞めることを検討するのも一つの選択肢です。最終的な判断はあなた自身にありますが、親や周囲の意見も尊重し、自分の安全と健康を最優先に考えることが大切です。