部署変更を断る際には、まず自分の気持ちを整理し、明確に自分の希望を伝えることが大切です。以下の手順を参考にしてください。

1. 自己分析：自分が今までやってきた仕事と新しい仕事の違いを明確にし、なぜ新しい仕事が向いていないと感じるのかを具体的に考えます。例えば、新しい仕事が自分のスキルや経験に合わない、精神的に負担が大きいなど。

2. 上司とのコミュニケーション：上司との面談を設定し、自分の気持ちを率直に伝えます。その際、自分の経験やスキル、そして新しい仕事が自分に合わない理由を具体的に説明します。例えば、「これまでの経験は主に工場内の業務であり、総務関係の仕事には不慣れです。また、新しい仕事は精神的な負担が大きく、今の状態では適応できないと感じています」など。

3. 代替案の提示：自分が希望する仕事や、他の部署での配置換えの可能性についても話し合います。例えば、「今の部署での配置換えや、他の部署での配置換えの可能性はありますか？」など。

4. 健康面の配慮：もし、新しい仕事が精神的な負担が大きく、うつ病のリスクがあると感じる場合は、そのことも上司に伝えます。例えば、「新しい仕事は精神的な負担が大きく、うつ病のリスクがあると感じています。健康面を考慮して、他の配置を希望します」など。

5. 上司の反応を見極める：上司の反応を見て、どの程度自分の希望が受け入れられるかを判断します。もし、上司が理解を示してくれるようであれば、そのまま話し合いを続けます。もし、上司が理解を示さない場合は、労働組合や人事部に相談することも考えます。

最後に、自分の健康と仕事の満足度を最優先に考え、上司とのコミュニケーションを大切にしましょう。