もともとこまめな連絡が嫌いな彼

彼と同い年で大学3年です。
大学が同じで彼の高校時代を知る友人に彼は高校の頃は児童養護施設で暮らしていて真相は不明だが両親はダブル不倫で離婚・お互い不倫相手と再婚し彼の親権を放棄して捨てたと噂が広まってたと聞きました。
私は女友だちの「返事は期待せず、毎日マメにLINEすれば彼もかわるよ」というアドバイスを受け、そのようにしてみたら、3日で返事が来なくなり3週間になります(通話はでてくれますが、用件が終わるったり用件がないとわかるとすぐ切りたがります)。
彼のことは大好きなのですが、以前から他人を受け入れない、疑り深い、冷たいLINEや、ノリの悪さ、人に頼るのが大嫌い、親を含め家族の事と交友関係は一切話さない、子供の頃の話もしない、なぜ精神科に定期的に通院していて服薬してるのか教えてくれない、など好きなので理解したくて、がんばって来ました。
でも数日前に彼に「なんでそんなに付き合う事にこだわるの？」と聞かれたこともあり、いろいろ考えたら大した男じゃないな！と思いだしてきました。
優しくないし私を好きではなかったんだとこのまま自然消滅でもいいかなー、とも思います。
スッキリ忘れるためにはどうしたらいいですか？
気持ちの切り替えをしたいです。
アドバイスお願いします