これって避けられてるんでしょうか？

気になる人に好意がバレてしまっているんじゃないかと心配です。

職場の後輩なのですが、その人を時々目で追ってしまったり、エレベーターで鉢合わせたときに一度だけ話しかけたり、休憩に入るタイミングが(たまたまもあります)一緒になってしまったことがありました。
確たる証拠はないですが、休憩のタイミングが被りそうになるとズラされたりしているような気がしなくもないです…

昼休憩の時にエレベーターで鉢合わせて一度話しかけた時は、2人きりになった時に向こうにチラッと見られてしばらく沈黙だったのですが、僕の方から少し話しかけたら笑顔で応じてくれました。
その翌日幸か不幸かまたエレベーターで鉢合わせてしまい、その時はお互い無言でした。
その翌日、その子は家からお弁当を持ってきたようで、昼休憩に外には出ませんでした。
これは、2日連続で僕と2人っきりになってしまったからなんじゃないかと思ってしまいます。

特にアプローチというほどのことはしてないつもりです。
職場の後輩で1ヶ月ほど関わることがあったのと、エレベーターで鉢合わせたときに少し話したのと、たまに視線を送ってしまうぐらいで、それ以外は何もありません。

また仮に好意がバレて避けられてしまったらどうしたらいいでしょうか？わだかまりだけは作りたくないのですが…