派遣会社とのやり取りに不信感を抱いている場合、まだ契約を結んでいないのであれば、辞めることは可能です。ただし、派遣先に家族の知り合いがいる場合、その関係を損なわないように配慮する必要があります。

まず、派遣会社に対しては、担当者とのコミュニケーションに不信感を感じたことを率直に伝えることが大切です。「担当者とのコミュニケーションに不信感を感じたため、この機会にお断りさせていただきます」という形で、丁寧に断ることができます。この際、具体的な不信感の原因（例えば、返信の遅れや電話のタイミングなど）を伝えることで、相手も理解しやすくなります。

次に、派遣先に家族の知り合いがいる場合、その人に直接話すのではなく、派遣会社を通じて情報を伝えることが一般的です。派遣会社が派遣先に連絡を取る際に、「本人が個人的な理由で辞退した」という形で伝えてもらうことができます。これにより、家族の知り合いに直接影響を与えずに済みます。

また、派遣会社との関係を円滑に保つために、断る際には感謝の気持ちを伝えることも大切です。「この度はお話を伺う機会をいただき、ありがとうございました」という言葉を添えることで、相手に対する配慮が伝わります。

最後に、今後の就職活動においても、この経験を活かして、より良い条件や信頼できる担当者を見極める目を養うことが重要です。派遣会社を選ぶ際には、評判や口コミ、担当者とのコミュニケーションの質などを慎重に検討することをお勧めします。