けんか別れ

３ヶ月前くらいに知り合い、ほぼ付き合っている状態の彼がいます。告白はされていますが私がまだちゃんと返事をしてない状況です。私の家に何回か泊まり体の関係もありました。
彼は私のことを大切にしてくれるし、私が転勤で遠くにいくことが決まったと言ったときも、「同じ勤務地になるように自分の会社に言ってみる。これを機に一緒に住もう」と言ってくれました。
でも私はひとつひっかかることがあって彼を責めてしまいました。
元々、知り合ったきっかけは、スキューバダイビングのライセンス取得の合宿でした。メンバーは彼、彼の友達の男性、私、女性一人の合計四人です。四人とも世代が近く、独身で、職場が近いことから、合宿から帰った後も飲みに行ったりしてました。でも、都合があわず、私が何回か飲み会の誘いを断ったことから、私は誘っても来ないと思われ、私抜きの３人で飲み会をしたり遊んだりするようになってたみたいです。
彼はもう一人の女性とも仲がよく、私は誘わず、その女性を映画に誘ったりしてました。また、四人が集まった飲み会でも、その女性とずっと話してました。
私と仲良くなっていったのはその後なので、私と遊ぶようになってからは、その彼女とはあまり連絡はとってなかったみたいですが、私より前に、違う女性と仲良くしてたことが気になって、彼を問い詰めてしまいました。
彼曰く、ただの友達として誘ってた。一瞬も好きになったことはない。男として、あんな人をそこまで好きだと思われること事態腹が立つ。二人で一緒に歩きたくない。とまで言っていました。
でも、私の気持ちとしては、私は誘わず、違う女性だけを映画等に誘っていたことが納得できず、また、その女性に脈がなかったから私に乗り換えたのでは？という不安があり、話は平行線のまま、怒らせてしまいました。
このままでは、おそらく連絡もないまま、お別れすることになると思います。
彼と私、どちらが間違っているでしょうか。
その事が納得できれば、とてもいい彼氏だと思います。
ご意見をお聞かせください。