彼女がいる相手とのセックス

解りずらかったら申し訳ありませんが是非ご意見お願いします。

会社の上司に告白されました。
長らく私の事を思ってくれていたそうで（つい最近まで別の店舗だったのですが…）、
たまたま二人で飲みに行く機会が出来、飲みに行きました。
２件目（個室）で実はすごく好きだったと言われ、キスさせてと言われ、されました。
そこで抵抗する事も可能だったのですが私自身も好意が有り、彼女(バツイチ子持ち)が居たのも知っていましたがお酒が入っていた為か抵抗しませんでした。
その後、もちろん行為もありました。

それから約3ヶ月ほど経つのですが
好きで仕方ないと言う割には、別れ話が出て来月で別れるからと言った翌月には
やっぱり別れられませんでした、向こうが泣くから子どもが泣くからそうなったらどうにも出来なくて…と言われ
家出して来た。もう、うんざりだから家には帰らないと言ってきて一緒にホテルに泊まった翌日には
一旦、家に帰ったら捕まって別れるのは嫌だと泣かれてどうしようもなかったと…

あげく職場ではキスはするはシたいとか言うわ、ヤろうとするわ…
つい先日は中に出したいとか無責任な事言うわでどうしたらいいのか困りました。（もちろん断固拒否しました）

全て甘んじて受けてしまっている自分が悪いのは解っています。
毎回、信じたらすぐ裏切るよねとかセフレならごめんだから二度と話しかけないでとか
口に出して直接本人に言っています。
その度にもの凄く悲しそうな顔をしてごめんと謝られるし、好きなのも誰よりも想ってる事も本当だからそれだけは信じてほしいと言われます。
好きだという気持ちはもちろん信じています。
行為の時も、二人きりの時も必ず言ってくてれいるので（あまり自分の事は言わない人です）そこに関しては嘘偽りはないと思います。

正直、この状態が苦しいです。
お前なんか嫌いだ！ふざけんな！テメーのセフレなんかまっぴらだ！とでも
言ってふってしまえば事足りると思うのですが
私自身、そんな人を好きになってしまっているのでふることが出来ません。
（正直、何度か試みましたが堪えきれず泣いてしまいました）

彼自身も、子どもが居る相手をそのまま投げ捨てる事は出来ないと言っています。
ただその間に子どもの行事に行くわ、旅行に行くわ、風邪で寝込んだら何時までに帰りたいとか言うわで正直、三ヶ月で相当辛いです。

職場を辞めるか、なんとかして彼を奪う（家に帰らせない）かした方が良いのでしょうか？
それともこのまま成り行きを見てみるべきなのでしょうか？
辛過ぎてどうしたら良いのか解りません。