彼氏が不思議なくらいモテてしまう

19の女です。
同じバイト先に彼氏がいます。
その彼が異常にモテてしまっていつもヤキモキします。
顔は中の上ですが、優しくてフレンドリーで…。
でもそれだけではあまりモテない気もするんですが彼がバイト先で非常にモテるんです。

ちなみにバイト先では彼と私が付き合ってることは秘密です。
女子高生や大学生は彼と話すとき目が輝いていて、女の私からみて好意があるなって思い込んでしまいす。
それどころか、主婦の人達も彼と話すときは明らかに「女性」になっています。
それとなく彼に「私以外の女性に絡みすぎじゃない？」みたいにいったらケンカになりました。
自分の彼氏ですが、どこにそんな魅力があるかわかりません。笑

彼の優しさとか親しみやすさは生まれつきのもので、とてもいいところではあるるんですがこれではいつもイライラしてしまいます。

彼に我慢してもらうか私の考え方を変えるべきか……教えて頂きたいです。