浮気を疑われてます

妻とはセックスレスです。
僕から拒否していて、俗にいう妻だけEDじゃないけど、妻とはしたくありません。
愛情がもうわきません。
年齢的なこともあり性欲もあまりありませんが、先日、友人からバイアグラのような薬を試しにもらいました。
もらってみると試したくなる、でも妻とはしたくない、だから本番ができるソープランドへ行ってきました。
薬の効果はさておき、その日は友達と飲みに行くといって出かけました。
飲み会の日はいつも遅くなるから妻は先に寝るので、そのような風俗店へ行ったことはばれないと思っていたのですが、女の感って素晴らしい。
何か証拠を残してしまったようで(妻は何を見たのか教えてくれない）、ほかの女とセックスしてるのになんで私とはしてくれないのかといわれました。
とりあえず妻とは本当にセックスしたくないから、その場はしらばっくれたつもりなんですが、ことあるたびに、浮気を疑われてます。
とりあえず妻とはセックスしたくないのでだからと言って妻を抱く気にはならないけど、1度きりの遊びをいつも遊んでいるかのように言われてそれは否定したいです。
自分で蒔いた種だし、仕方のないことでしょうか？