元カレと戻りたいです

元カレのことが忘れられません 戻りたいです 
でも私と別れてから二週間後、元カレには私と同じ学科の新しい彼女ができました 
私にはたまに電話してきたり、部屋にきてと誘われ行ってしまいます 
私から連絡をとったことはないけど、連絡がきたら嬉しくて会ってしまいます
元カレは私のことが好きだけど今は戻れないと言います
今の彼女とは、私のことが忘れられなくて付き合ったと言われました
私今していることは 浮気だとわかってるけどやめられません 

私と元カレはほぼ半同棲で1年間付き合って1ヶ月くらい前に別れました
理由はお互いの嫌なところがありすぎたことや、考え方の違いでした
前にも一回別れたことがありますが、やっぱりお互いのことが好きで戻りました
 私も忘れようと別れた後、二週間くらい連絡をたち、他の人を好きになろうと努力もしたけど結局だめでした
どんな人と関わってもこの人しかいないと思ってしまうんです
今までこんなに人を好きになったことないし、こんなに自分出せた人もいないし、色々だめなとこも含めて変えてくれるこんないい人私にとって他にいないんです
でも、一つだけ、チャラいところが許せなくて、付き合ってるときに私も浮気してしまったこともありました
今までのことを考えるとまた付き合ってもうまくいかないのではないか、とも思うんです
ちなみに元カレも私も付き合ってるときにお互い浮気したことがあって、私は一回、私の知っている限りでは元カレは二回あります
でも結局はお互いが一番なので、したことをきちんと自分から告白して戻ってきました

本当に自分は最低な奴だってわかっています
でも何回離れても結局は好きなんです
お互い頑固なぶん、衝突が多いんです
どうすればいいんでしょうか