勇気がでません

去年の年末に付き合っていた彼氏と別れました。
すごく傷つく終わり方(彼氏の浮気)だったので
しばらく一人でゆっくりしたいと思ってました。
年が明けてから、ずっと仲良くしていた
幼なじみの男子から、付き合ってほしいと
告白されました。
その時に、きちんとお断りしたけど
じゃあ、振り向いてもらえる様に頑張ると
言い出しました。
たくさん優しくしてもらったし、大切にも
してもらったし。
普段の幼なじみの関係ではわからなかった魅力も
感じました。

でも、どうしても、やっぱり、男性と
お付き合いできる自信がありません。

関係が壊れてしまう不安や、私の為に
頑張ってくれている姿を見るのが
辛いし、申し訳なくて。

きちんともう一度お断りしようと
思いますが、関係が壊れない断り方？
言い方？
何かないでしょうか。

返事はいつでもいいと言われています。
でも、いつまでも待たせるのは
ダメですよね？