束縛彼氏と別れたい時。

私は一週間ほど前から付き合い始めた人がいます。
私は、その人のことは好きではなく、友達にのせられて付き合った感じです。
相手は私のことが好きなようですが、少々束縛があり、「なんで返信しないの？」「また既読無視かよ」と私が部活や家のことで大変なときも言ってくるので、ストレスが溜まってきています。
また、デートに誘われた日に大事な試合の前であるのと強いチームとの合同練習があって無理だという旨を話しても「部活と俺、どっちが大事なの？」と言ってきてとても困っています。
私は、誰かに「付き合っているひとがいる」と言うつもりもなく最初はその人もそれで了承していたのですが、学年の色んな人に言いふらしているらしく、通りすがりに色々言われるのが辛いです。
私は、その人と別れたいのですが、同じクラスなのと、昔、男の人に襲われた経験があり、別れ話をしたら、何をされるか怖くて言い出せません。どうしたらいいでしょうか？
友達にのせられたことも告白を断れなかったのも私に否があると思いますが、いいアドバイスがありましたら、教えてください。よろしくお願いします。