アルバイトを辞めるかどうかの決定は、個人の状況や価値観に大きく依存します。一般的に、以下のような基準が考えられます。

1. 精神的・身体的健康: あなたのように、緊張状態が続き、バイト後に疲労感が残る場合、その仕事が健康に悪影響を及ぼしている可能性があります。長期的なストレスは健康を損なうだけでなく、日常生活にも影響を与えるため、これは重要な考慮事項です。

2. 仕事の満足度: 仕事が自分に合っているかどうかも重要です。あなたが言うように、一つ目のアルバイトは居心地が良く、気に入っているということですから、二つ目のアルバイトがその満足度を大きく下回っているのであれば、辞めることを検討する価値があります。

3. 経済的な必要性: 二つ目のアルバイトが経済的に重要である場合、辞めることが難しいかもしれません。しかし、その場合でも、他の収入源を探すか、一つ目のアルバイトの時間を増やすことで対応できるかもしれません。

4. 成長の機会: あなたが言うように、居心地の悪い環境で成長する可能性があると考えているのであれば、それを継続する価値があるかもしれません。しかし、その成長が実際に得られているか、それが今後のキャリアにどのように影響するかを考慮する必要があります。

5. 仕事と生活のバランス: 仕事が生活の他の部分に影響を与えている場合、それは辞める理由となり得ます。例えば、友人や家族との時間が減ったり、趣味や自己啓発の時間が奪われたりする場合です。

最終的な決定は、これらの要素を総合的に考慮した上で行うことが重要です。また、辞めることを決めた場合でも、適切な方法で辞めることが大切です。例えば、事前に上司に相談し、辞める理由を明確に伝えることで、双方にとってスムーズな終了が可能となります。