派遣先から出戻りを強要される状況は、一般的ではありません。派遣契約は、基本的には派遣元と派遣先の間で結ばれるものであり、派遣社員個人に対する直接的な契約ではありません。したがって、派遣社員が他社に転職した後に出戻りを求められることは、法的にも通常は認められません。

しかし、あなたの場合、前の派遣会社の社長が「特別」な理由として、あなたが派遣先に悪口を言ったために派遣社員が来なくなったと主張しています。これが事実であるかどうかは別として、このような状況では、まずは冷静に対応することが重要です。

1. 法的相談: 派遣会社からの出戻り要求が法的に有効かどうか、労働基準監督署や弁護士に相談することをお勧めします。法的な観点から、あなたの権利と義務を明確に理解することができます。

2. 証拠の収集: もし、派遣会社の社長があなたに対して不当な要求をしていると感じる場合、そのやり取りの証拠（メール、電話の録音など）を収集することが重要です。これは、後に法的措置を取る際に役立つ可能性があります。

3. 現職の会社とのコミュニケーション: 現在勤務している会社にこの状況を報告し、その対応を相談することも重要です。会社側も、社員が不当な要求に直面していることを理解し、適切な支援を行う可能性があります。

4. 派遣会社との交渉: もし、出戻り要求が法的に無効であることが明らかになった場合、派遣会社との交渉を行うことも一つの選択肢です。ただし、この交渉は法的な裏付けがある状態で行うことが望ましいです。

このような状況は、派遣社員としての権利を理解し、適切な対応を取ることで、あなたの立場を守ることができます。冷静に、法的な観点から状況を分析し、適切な対策を講じることが重要です。