別れたいです

中学の時の同級生と再会して現在付き合っています。彼は仕事が忙しくて泊まったりはせず、連休があっても泊まりででかけるなんてあり得ません。私は彼の私生活に疑いしかないのですが、なんとなく一緒にすごしていました。
最近、私が当時からあまり好きではなかった女の同級生と連絡を取っていることが判明しました。彼は住宅関係の仕事をしているので、仕事関係で連絡を取り、向こうは彼氏もいるそうです。
学生時代にあまりいい思い出がなく、連絡を取っているのは彼くらいです。ですが最近では同級生の話もよく出てくるし、なんだか何年間も私だけのけ者にされてきた気分になり、悲しくなってきました。元々好きなのか分からない彼と一緒にいることは意味がないだけでなく、マイナスな気持ち（嫉妬や不安、孤独感）が生まれてきているので、彼と縁を切りたいと思っており、何度か話しをしましたが、彼は受け入れてくれません。
どうしたらきちんと別れることが出来ますか？連絡を無視するとかは試しましたが、駄目でした。