職場の女性に断られ、その後

以前に職場の気になる女性を飲みに誘ったが「噂になるから」と言われ、あきらめた方が良いか相談したものです。
皆さんからは、あきらめるべきとの意見が大半でした。
その後ですが、自分の趣味に関して質問をしてきたり、誰かが買ってきたお土産をわざわざ私に配ってくれたりということがありました。そんな時は私も話に乗るなどの対応をしましたが、以前の飲みへの誘いにＯＫの返事がなかったので、自分からは何もアクションを起こさず、今はただ自分の仕事を黙々とこなす毎日です。
このままで良いのか、何か行動を起こす方が良いのかアドバイス頂けないでしょうか。
ちなみに彼女は、最近は退社時間が早いため、誘うタイミングはありません。