あなたの状況は非常に理解できます。発達障害グレーゾーンであることや、聞き取り能力の不足、口下手、性格の暗さなど、多くの課題がある中で、営業職での苦労を感じていることは、多くの人にとって共感できる部分があります。

まず、肉体労働に転職することについてですが、大卒で肉体労働に転職する人は確かにいます。特に、身体的な強さが求められる仕事や、規則正しい作業が多い職場では、学歴よりも体力や持久力が重視されることがあります。しかし、肉体労働でも理解力やコミュニケーション能力が求められる場合もあるため、その点は注意が必要です。

次に、ホワイトカラー職に残るべきかどうかですが、これは個人の働き方や職場環境に大きく依存します。ホワイトカラー職では、コミュニケーション能力や理解力が重要視されるため、あなたの現状では厳しい面もあります。しかし、職場の理解と支援が得られる環境であれば、継続して働くことも可能です。特に、IT業界は多様な働き方を認める傾向があり、発達障害を持つ人材の活用も進んでいます。

最終的な判断はあなた自身にありますが、以下の点を考慮すると良いでしょう。

1. 自分の強みと弱みを再確認し、どのような仕事が向いているかを考える。
2. 現在の職場での支援体制を確認し、改善の余地があるかを探る。
3. 転職を考える場合、新しい職場での働きやすさを事前に調査する。
4. 専門の就労支援サービスを利用し、適切なアドバイスを受ける。

どの選択をするにしても、自分の幸せと充実感を最大限に引き出せる環境を見つけることが大切です。