気持ちの整理がつきません

私には付き合って2年、同棲して1年半の彼氏がいます。
先日、セックスレスについて、私から聞いてみました。正直将来の事もあるので、このままなら、別れた方がいいのかなと思っていました。
彼は私が拒んだ事が原因で、今はわからないと…拒んだ記憶もなかったのでどうこたえたらいいのか分からずでした。
その他にも俺といても楽しそうじゃないから、今度誘うこともない。惨めな思いをさせられてると言われ、また何も言えませんでした。
そのようなつもりはなかってのですが、言い訳はしたくなったので、あやまりました。ありがとうやごめんっていつも言わないと指摘され、その都度伝えてるつもりだったので、悔しくてたまりませんでした。彼は別れるつもりはないそうですが、モヤモヤした気持ちが続いてます。

同じような経験をした方がいらっしゃればアドレスをいただければと思います