冷たい彼氏

同じ職場に付き合って二年になる上司の彼がいます。
彼は俺様なタイプで子供みたいなわがままな人です。

職場では他の人には自分が好かれようと冗談を言ったり気を引く態度で仲良く話すのに私には馬鹿にしたような話し方したり無愛想で挨拶してもまともに返しません。
こうゆう態度で何度も喧嘩したりしてきましたが結局何も解決してなく彼の機嫌の良し悪しでその日が決まります。

彼の言い分は自分は上司なんだから‥他の人は自分に態度が良いから話してて気持ちがいいと
相手は自分の鏡といいますよね？
私も歯向かってる訳ではなく自分が話しかけても冷たくされるの分かってるので用事がある以外は話しかけないようにしてるのは事実です。
他の話しかけやすい上司には普通に話しかけますし

私はただ普通に接して欲しいだけなんですが職場では彼の態度に一喜一憂で疲れます。
職場でこのように冷たい態度を取られてプライベートでは何もなかったように過ごすっていうのが段々とストレスになってきてて別れも何度も切り出しましたがお前に決める権利はないだの脅すような事を言われずるずると関係が続いてます。

モラハラ気味な彼なのは分かってますがプライベートで罵倒する事はほぼありません。
彼女ならもっと優しくしてあげたいってのが普通なのだと思うのにそれどころかないがしろにしかしない彼への不満が消えません。
こう考えるのは私が間違ってるのでしょうか？