同僚が上司と不倫

こんにちは！
今、会社を辞めようか悩んでます。

同僚と上司が不倫をしてて、仕事に支障なければ、
気にしない様にする事も出来るのですが…
私と同僚はその上司のアシスタントをしていて
私の部署は、同僚の思いのままで、気に入らない人が異動してくれば
席替えしたり、自分の嫌な仕事は私に回って、
自分は上司と打ち合わせと言っては２人で、会議室にこもり
イチャイチャと楽な仕事をしてます。

同僚と上司が不倫をしていることは、以前同僚から相談され、
その時は私とチームも違い、仕事に影響はなかったので、
話を聞いても賛成も反対もしてませんでした。
不倫してる人に何言ってもやめる訳ではないし！
なので、この事を知っているのは私だけなので、
会社の誰かに相談も出来ず、私も今の仕事は好きな方なので
出来れば辞めたくは無いので、どちらかが異動になって欲しいのですが…

会社に相談する方法などないでしょうか？

会社にそういった環境の方や何か良きアドバイスとかないでしょうか？