日本の労働基準法により、使用者は労働者に対して法定労働時間を超えて労働させた場合、その超過時間に対して割増賃金を支払わなければなりません。これは、タイムカードなどの記録に基づいて判断されることが一般的です。

しかし、会社が「勝手に会社に来て、業務外のことをしていた」と主張する場合、この主張が事実であり、かつその事実が証明できるのであれば、会社は残業代の支払いを拒否することが法的に認められる可能性があります。ただし、このような主張を行うためには、会社はその主張を裏付ける明確な証拠を提供する必要があります。

裁判になった場合、裁判所はタイムカードの記録と会社の主張を比較検討し、どちらがより信頼性が高いかを判断します。会社の主張が事実に基づいており、かつその事実が証明できる場合、裁判所は会社の主張を認める可能性があります。しかし、会社が主張する事実を証明できない場合、裁判所はタイムカードの記録に基づいて残業代を認めることになります。

したがって、会社が残業代の支払いを拒否するためには、「勝手に会社に来て、業務外のことをしていた」という主張を裏付ける明確な証拠を提供する必要があります。そうでなければ、裁判所はタイムカードの記録に基づいて残業代を認める可能性が高いです。