この状況は確かに不公平で、職場のルールや倫理に反していると感じることは理解できます。まず、この問題を解決するためには、冷静さを保ち、適切な方法で対処することが重要です。

1. 証拠の収集: 遅刻や残業の状況を記録することから始めましょう。タイムカードの記録や他の従業員の証言など、客観的な証拠を集めることが重要です。

2. 上司への相談: 証拠を持って、工場長以外の上司や人事部門に相談することを検討しましょう。相談の際には、事実のみを伝え、感情的にならないように注意しましょう。

3. 労働基準監督署への相談: 会社内での解決が難しい場合、労働基準監督署に相談することも一つの選択肢です。労働基準法に違反している可能性があるため、専門機関の助けを借りることも考えられます。

4. 職場環境の改善: この問題が解決した後も、職場環境の改善を続けることが重要です。公平で透明性のある職場を作るために、従業員間の信頼関係を築くことが必要です。

最後に、このような状況に直面した場合、自分の権利を守り、適切な方法で問題を解決することが大切です。職場のルールや倫理を守ることは、全従業員の利益につながります。