どうしたらいいのか困っています

彼氏を作るとき、皆さんは
周りの目を気にしますか？
気にするというのは、
その彼氏と付き合うことによっておこる
問題を考えたりしますか？？
私は、今いいなと思っている男性がいて、その男性も
私に好意を抱いてくれていて、
付き合える状況なのですが、その、今私がいい感じの男性のことを
好きな女性が何人かいるらしく、私が付き合うと、
その子たちに何か言われたり、思われたりするのではないかと。
全く赤の他人なら気にしないのですが、その女性たちがみんな、
同じ大学の後輩の子だったり、先輩だったりで複雑なかんじです。
直接、後輩から私に、その男性が好きだということも何も聞いていないし、先輩からも私に直接ゆってきたわけではないのですが、そういう噂や、本人(私が今いい感じの男性)が言っていて、私はこの人と付き合っていいのかな？後輩が好きっていうことを知っていて付き合っていいのかな？という状況です。
説明が下手くそですみません。
どなたか、何か聞かせていただけたら光栄です。
もちろん、私は彼のことが好きですし、付き合えたらいいなと思っています。
ですが、男関係で女の友情が崩れるのは嫌というか、それで
後輩や、先輩を失うのは嫌というか…
本当に説明が下手くそですみません