これって俺が悪いの？

先日、彼女にわたしに飽きたの？と言われ若干浮気を疑われました。
俺は神に誓って浮気なんてしないし、こういうたまにメンヘラ入るところ以外は彼女のこと愛しています。
箇条書きにすると、
・少し前までは会うたびにしてたのにここ一ヶ月セックスを誘ってもらってない
(先週の彼女の誕生日の日に彼女から誘ってしたけど、ほんとはそっちから誘って欲しかったしなかなか手を出してこなかったからしかたなく)
・恥ずかしから特別な日にしか好きと言わないと言っていたけど、誕生日にも言ってくれなかった
・誰と出かけるかにごす
・過去に浮気まがいのことをしたから今とても不安

と上のことを泣かれながら言われました。
俺からすれば、誕生日の日はすごい眠かったししばらく横になっていたのでそれで誘う気が起きていなかったのは事実ですが始まったらちゃんと答えました。誘わなかったのも単に回数減っただけ。
好きと言わなかったのも誕生日のプランをちゃんと一日考えて相手が喜んでたからそれで伝わったと思ったから。
たしかに、お互いの約束で異性と二人きりで出かけてはいけないと決めたのに少し魔が差して他の子と出かけようとしたことはあったけど、バレて未遂に終わったし浮気してない。

これを先日と泊りに来た時に、次の日仕事なのに夜中に言われたからたまったもんじゃなく、そんなことで泣くなと無視して寝たら次の日怒っていて少し距離を置きたいと言われました。
おれの反応が気に食わなかったのでしょうか

俺は別れたくないし別れる理由がわかりません。
これって俺が悪いのでしょうか？