別れるのかな？

長文で読み辛い点があったらすみません。

私と彼氏は同じ大学の同じサークルです。サークル内では付き合っていることは内緒にしています。公言していないだけで、おそらくバレていますが…

サークルの後輩の女の子が、私の彼氏にLINEで就活の相談をしていました。その女の子と彼氏は同じ学科（私は違います）で、少し特殊な専門分野なので、相談する気持ちは分かりますし、親身になって相談にのってあげればいいと思います。

彼氏はその女の子を普段からとても褒めていて、性格がいいとずっと言っています。後輩の中で1番気に入ってます。

そして、今回就活の相談を受けて、可哀想に思ったのか知りませんが、2人で一緒にご飯に行っていい？と彼氏が電話で聞いてきました。「2人で行くのが心配なら、3人で一緒に行く？」「もし行ってほしくないなら行かない」と言っていますが、すごく行きたそうです。私は、行ってほしくなさに泣いてしまいましたが、「行っていいよ」と言いました。

3人で行くのは、後輩の子からしたら私がいることに疑問を持つでしょうし、自分の存在に警戒していると思われたくないからです。（実際は警戒していますが笑）

そして、とても行きたそうな彼氏に「行かないで」と言うのも重い感じがして言えませんでした。

しかしそれからずっとイライラして、彼氏に「私と後輩って同等の扱いなんだね」と文句を言ったら、「今までどれだけお前のために行動してきたと思ってるんだ。こんなことで同等の扱いになるなんて信じられない。嫌なら嫌と言えばいいのに。距離を置こう。後輩とのご飯はもうなしにする」と言われました。

イライラした私も悪いですが、距離をおこうと言って怒る彼氏が分かりません。私が我慢して後輩とのご飯を快くオッケーすればよかったのでしょうか。
それとも彼氏が行きたいなら仕方ないとか考えずに、「行かないで」と言えばよかったのでしょうか。そしてこのまま別れるのでしょうか…