抜け出せません。。

自分でも自分に嫌気がさしているんですが、悩み過ぎてうつにもなり、苦しいので相談させてください。

私は２０代前半の女です。
事務の仕事をしており、遠距離ですが大好きな彼氏もいます。
今仕事場の男性とのことで悩みがあります。
軽率な行動から、仕事場の男性と付き合っている（不倫）ことになってしまいました。
仕事上一番かかわる現場の人なのですが、仕事のことを教えてくれたり
すごくお世話になった人です。
それで「何かあったときのために」とアドレスを聞かれ教えました。
それからその人からちょくちょく連絡が来るようになりました。
仕事上付き合いもあるので、メールは返していました。
それで一度仕事終わりに誘われいったりもしました。
一応私よりも上の人で断ることもなかなかできずいった感じですが、
それが行けなかったようで、キスされました。
怖くなって会社に相談をすると、その人の耳に入ったようで
「言ったでしょ？」と言われ、怖くて言い訳をしてしまい
またその人と普通に連絡を取るようになっていきました。
それからしばらくして、勇気をだして「彼氏もいるし、あなたも結婚してるし、こうゆうのはよくない。もう連絡しないです。」といったところ、キレられ殴られました。
私が彼氏を思う気持ちは偽りで本当は俺のことが好きなんだ
みたいなことも言われ、彼氏にもらった鞄をなげられたり、蹴られたり、すごく怖い思いをしました。
それからはもう怖くてその人の機嫌をうかがって生活をしていました。
そんな感じで仕事を続けていったときに仕事上もいろいろ大変な時期がありうつ病になり、薬を多量摂取してしまい入院していました。
しばらくお休みをし、来月からまた仕事に行く予定です。
仕事は好きでやりがいもあり、続けていきたいです。
彼氏と結婚の話もでているので、やめるときは寿退社でと考えています。
ただ、その男性と会うのが怖いです。
今はラインでその人とつながっています。
ブロックもするとばれてしまうのでできません。
最低限で返事を返したりしています。
連絡をしなければいいと思いますが、
恐怖感がつよくて、拒否ることができません。
強くいうことも怖くてできません。
どうしたら、波風立たず何もなかったようにできるでしょうか？
６月でちょうど働いて３年になるので退職金もでるので
最悪そこまでは我慢してやめることも考えていますが。
結婚前にお金を貯めなければならないのでできれば結婚ギリギリまでは続けていきたいのです。
うまくやっていく方法はあるでしょうか？(+o+)
乱文すみません。
アドバイスを頂けたらと思います。