男性に質問

職場の上司についての相談です。
私は32歳の女です。
部署が違う上司（40歳、男性）がいて、たまに会うのですが、私にだけ冷たかったり挨拶もしてくれなかったりします。その割に話しかけてきたり、ずっと見て来たりするので嫌われてる訳ではないと、気にしないようにしていたのですが、この1ヶ月はまるで私を視界に入れないようにしている感じで、こちらも少し腹が立ってきました。
職場では仕事は普通にこなしていますし、他の人とは良好な関係を築いています。
その上司は他の人には普通に接しています。
何か嫌われるきっかけになるほど、その上司とは接点がありません。
最後に話したのは1カ月前に、上司が水泳が得意だって話になり「カッコイイですね」って言っただけでその時は嬉しい感じで話が終わりました。
もともと私に対しての態度にムラがあったのですが（これは入社当時からずっとです）、その会話から少しづつ私を視界に入れないようにしている感じがして来ました。
私としては、自分に悪い所があるなら改善したいし、挨拶くらいは普通にしてもらいたいです。
男性の方、この上司の心理はどういうものなのでしょうか？
私は挨拶したくない位嫌われているのでしょうか？
また、改善策があればアドバイスが欲しいです。