どうしたらいいかわかりません。

私は、小学校からずっと一緒だった彼と高校１年生の時から付き合い始めました。
でも、２年経って別れてしまいました。
その理由は、彼が女子とばっかり絡むことにもう我慢が出来なかったからです。その中でも、ある1人の女子とは、私の知らないところで結構仲良くしてたみたいです。その女子は元から私とも彼とも仲が良かったのですが彼氏と別れてから、私の彼氏とより仲が良くなり、周りからもあれは狙ってるよねって言われるぐらいでした。挙句の果てには、友達からどっちが彼女か分からないと言われるほどでした。その事を彼に言うと、あいつは悪くないと必死で庇っていました。
でも、別れてから2週間ほど経って、復縁して欲しいと言われました。私もまだ好きだったので、復縁しました。しかし、その女子との関係は変わっていません。その女子の事は、彼と別れて以来、生理的に受け付けなくなりました。その事は彼も知っています。でも、この前、彼とその女子が話しているのを見かけました。その時は、嫌だなとは感じましたが、スルーしました。でも、その夜彼からメールで、｢俺があいつと話よるとこ見たんやろ？機嫌悪いんやないと？｣と言われました。だから、嫌だったと答えたのですが、彼は、｢お前があいつのこと嫌いでも、俺はあいつと仲良くするよ｣と言いました。
さらに、私よりもその女子の方をかばい、大事にしているようでした。
彼は、私よりもその女子の方が好きなんでしょうか。
本当は私よりも、そっちに行きたいと思っているのではないかと不安で仕方ありません。
私は彼と別れたくありません。
どうしたらいいのでしょうか。
教えて下さい。