日本の労働環境において、家族の状況を考慮して単身赴任を避けることは、労働者の権利として認められています。特に、子供が生まれたばかりの場合、家族との時間を大切にすることは合理的であり、会社もこれを尊重するべきです。しかし、実際の職場では、このような個人的な状況が常に優先されるとは限りません。上司が「嫌なら辞めろ」という態度を取る場合、これは労働者の権利を無視し、職場環境の健全性を損なう行為と言えます。このような状況では、労働基準監督署や労働組合に相談することが推奨されます。また、会社の人事部門やコーポレートカウンセリングなど、中立的な立場からの助言を求めることも一つの方法です。最終的には、自分と家族の幸せを最優先することが大切です。