諦めるべき？好きな人

好きな人がいます。
それはアルバイト先のお客さんです
彼とは挨拶をする程度の顔見知りの関係だったのですが思い切って連絡先を渡したら連絡をくれました。やりとり少ししてまだお互いの事を知らない中なのですが、食事に誘ったらやんわり断らられました。
それからしばらくした後、旅行中の彼に連絡をしたら彼が写ってる写真を送ってくれたり旅行の話をしてくれました。しかし、まだバイトしてるの？という彼からの質問に対してもうすぐで辞めると答えた途端返事が来なくなりました。彼は私が彼が帰ってきた頃には辞めるということを元々知っています。
これは彼が帰ってきた時にもう私と顔を合わせたくないから聞いてきた質問なのですかね？
意見聞きたいです