どうしたらいいかわからないです

いけないとわかってて
２０はなれた年上の人と遠距離不倫恋愛続けてきた・・
２年目にはいって彼が手術うけた後記憶障害に
１からだったけどまた始まった・・・ここでやめておけばいいのに・
関係は続いてるけど会うときは泊まりがけで
会ってもそのときの記憶は消える覚えてない・・・
会っても彼は体が弱いためいつもだるそうだ。。
前から入退院くりかえしてるし
今度は治療が合わなく肝機能障害で入院中
寂しさとつらさが。。。
こんなこと言う権利はないけど。。。
このままではだめだとは感じてるけど
なかなかぬけだせず。。。
会っても泣いちゃうし帰りも・・・
お互いに金銭面もつらいし
自分は知的障害で鬱なので混乱してしまって・・
お互いに傷つかずに別れる方法ないですか？