断るときって

私には1ヶ月ほど前にある男性に
告白されました。
今、私は彼氏がいないんですが
その時はその人のことを全く異性として
見ていませんでした。
なのでお断りさせて頂いたんですが、
彼がすごく一生懸命な人なんです。
お断りしたときも、
これからもご飯とか誘うから…！
といって毎週、休みになるとお誘いの連絡がきます。
そのあとも何度かご飯に行ったり
すこし遠出したり…しました。
彼といるとすごい安心できて、
すごい一生懸命なのが伝わってきて
付き合っちゃってもいいかな？とも思ったんです。
ですが、好きではないんです。本当に。
バカなことかもしれませんがきゅんってしたことがないんです。
ですが、すごい一生懸命なので付き合っちゃおうと思っていました。

ですが、最近、気になる？人がいます。
まだ恋かとかわかんないんですが、
気になってるのは確かなんです。

だから彼にきちんと断ろうと思ったんですが、
告白してくれた後も何度も出かけたりご飯食べたり
なんというか…断るに断れなくなりました。
彼とはバイトが同じなので毎日顔を合わせます。
もちろん彼も私も暫く、2～3年はやめるつもりもないです。
できるだけしこりがなく、お断りして
今後お誘いがないようにしたいのですが、
何か案はありますか？