終われない

私には好きな人がいます。
体の関係がある人です。好きと伝えてもなかなか答えくれません。体だけの関係が続いていました。彼にみついだりもしていました。付き合えないと言われ最近彼から離れなきゃ何度も思いました。
でも、彼から連絡がくると嬉しくて会いにいってしまいます。体の関係も終わらせなきゃいけないのにできません。
自分が悪い事はわかっています。離れたいと思う自分がいるのにできません。
どうしたらいいですか？