気弱な彼氏

私には付き合って1年10ヶ月になる彼氏がいます。
しかし、1年も経たないうちに私は彼に恋愛感情がないことに気付いてしまいました。
というのも、彼が2年間私に片思いしていることを知った友達が下手に騒いでしまったため、私が交際を断ることができない状況に陥ってしまい、付き合うことになったからです。
とても優しい人なために、彼に申し訳ないことをしてしまった罪悪感でいっぱいです。

以前、彼に別れ話を持ち出そうと会う約束をした際、彼は当日まで何も食べられず、眠れずの生活を送ったと聞きました。
その前にも彼の気の弱いエピソードを聞いていて、私はそんな彼に引いてしまっていました。

彼は今、大学で部活に所属しており、厳しい生活に耐えています。
だからかは分かりませんが、毎日夜遅くに電話を掛けてきます。
はっきりいうと、私にも予定があるので迷惑なのですが、こんな状況で付き合ってしまっている罪悪感からやめてほしいとも言えません。
同様に別れたいとも言えません。

しかしこの度彼に別れを切り出すことにしました。
こういった状況のとき、同情心に押されずしっかりと話を付けるために何かアドバイスを頂けると嬉しいです。