日本の労働基準法に基づき、36協定（時間外・休日労働に関する協定）が結ばれている場合、労働者は法定労働時間を超える労働を行うことが法的に認められています。しかし、これは労働者が自発的に残業を行うことを前提としており、強制的に残業させることは許されていません。

労働者が残業を拒否した場合、それ自体は法的に罰則の対象とはなりません。労働基準法第32条の2により、使用者は労働者に法定労働時間を超えて労働させることはできません。ただし、36協定が結ばれている場合、使用者は労働者に対して残業を求めることができますが、労働者の同意がなければ、その要求を強制することはできません。

労働者が残業を拒否したことにより、使用者が労働者に対して不利益な取り扱いを行った場合、それは労働基準法第15条に違反する可能性があり、労働者は労働基準監督署に相談することができます。労働基準監督署は、使用者が労働基準法に違反していると判断した場合、是正勧告や罰則を科すことがあります。

したがって、労働者が残業を拒否した場合、それ自体に罰則はありませんが、使用者が法的に許されていない行為を行った場合、その使用者に対して罰則が科せられる可能性があります。