体調不良で仕事を休むこと自体は、労働基準法に基づく正当な権利です。しかし、その連絡方法や事後の対応が適切であったかが問題となります。派遣会社が信用を下げたと主張する根拠が不明確ですが、もし会社側が契約違反や信頼関係の破壊と見なした場合、法的措置を取る可能性はあります。ただし、単に体調不良で休んだだけで訴えられることは通常考えられません。弁護士に相談することは賢明ですが、まずは派遣会社との間で話し合いを行い、法的措置に至る前に解決を図ることが重要です。