どうしたらいいか…

付き合って2年になる彼氏がいます。

付き合い始めは、ごくごく普通のカップルだったと思います。
キスもセックスも普通にしていました。

付き合って1年くらい経つとキスもやセックスをする回数が極端に減ったのですが、体を触ってはくるのです。
胸をよく触ってきます。
私がその気になると彼は「あずさがその気になってきたからやめよ～」と言って離れて行きます。
それが何回もあり、「ストレス溜まるからやめて！」と言いましたが短期間やめるだけでまた胸を触ってきたりと喧嘩の繰り返しです。

ハグもキスもセックスもしないのに胸だけ触られてとても不快です。
そこを除けばいい彼なんです。
半同棲をしていて結婚も視野にいれていきたいのですが直らないようなら別れた方がいいのではと考えています。

欲求不満にもなるし他にいい人が現れたら浮気してしまいそうで怖いです。
どうにか直らないでしょうか…
きっぱり別れてしまった方がいいのでしょうか。

男の人に聞きたいのですがどういった心境なんでしょうか。

よろしくお願いします。