遊ばれてるとわかってても抜け出せない恋

相談です。2ヶ月前から同じ職場で同じ部署の１つ上の方と仲良くなりました。
それから定期的にデートしてたんですけど、向こうからの告白はなく、ただ好きとは言われてる状態でした。
先週彼から会社の何人かで海に行こうと言われたんですけど、私は海に入れなかったので断ったんです。
そしたらそこで仲良くなった7個下の女の子と今いい感じになったみたいで、私をデートに誘った時と同じ口実で今日その子を家に呼んだみたいです。

ちなみにその人は26歳のバツイチで、離婚する前日も浮気してたという噂を昨日別の後輩から聞きました。
私ともし付き合ったら他の女の子に目移りすることは絶対ないから安心してとまで言ってたけど、結婚相手と10年付き合って大恋愛したから私に告白できないのは情けないけど恋愛にビビってると言ってました。
でも私からしたら近くにいる女の子に手当たり次第引っ掛けに行ってるとしか思えず、私は本気で好きやったのでずっと告白がないのもモヤモヤしてた分ショックです。

彼は大人しくてすごく優しいし、見た目とのギャップに落ちてしまってるだけで本当は女の子の扱いが上手いのかなと思います。私は恋愛経験が少ないので落ちてしまい、多分抜け出せないでいるのかなと思っています。だから悔しいし悲しいです。でも私は真剣に好きになってくれる人と付き合いたいと思っていますし、もし自分がもっと傷ついて会社に行けなくなることだけは避けたいです。
遊ばれるのも嫌だと思っています。

私がもし海に行ってたらこういうことにはならなかったかもしれませんが、もし行っててその子に目移りされてたら余計に嫌な思いをしていたかもしれません。

明後日にだいぶ前から一緒に有給とって遊ぼって彼と約束してたんですけど、私は遊ばれてるってわかっててまで会うべきか悩んでいます。

付き合う前に彼の本性がわかって良かったと思って断るべきでしょうか？

好きなのに身を引くのもその女の子に対しても負けた気がしますが、私は彼を好きになるのを辞めて、新しい幸せを探しに行った方が良いでしょうか？

アドバイスをお願いします。