妻の浮気

結婚11年目、私38歳、妻37歳で子供は居ません。
妻がご近所の旦那さん3人と浮気をしていました。
始まりは8年前に現住宅を購入したあたりからです。
相手の家庭も同じ時期に引越してきていて、浮気相手は隣りの旦那（8年間）、妻と通勤バスが同じ男（6年間）、最後が私の飲み友達でもあった男性（4年間）です。
妻が会社勤めのため、帰りが遅くなるのを許していた自分も馬鹿ですが、浮気を知った時は何も手につかないくらいショックでした。
浮気の発覚は隣りの奥様が気が付き、我が家に怒鳴り込んで来ました。
隣り旦那だけでもショックでしたが、妻の携帯から（隠していた2台目）他の2人とのメールや画像等で、3人との浮気が発覚し、4家族で話し合いをしました。
浮気相手3人は私の妻との関係を断つと約束し各々の奥様に謝罪。我が家は立場上この住宅地に住むことは無理と考え家を売り引越し。
この状況でも妻と離婚しない自分は馬鹿と思われますが、今でも妻を手放したくありません。
出来ることなら、相手の男性にも非があると思うので、住宅ローンの残り残高を慰謝料して払ってもらいたいが、とれるものですか教えて下さい。