職場の女性を誘ったら断られました

職場の女性と何度か一緒に帰ることがあり、好意を持ってしまいました。

元々人を誘うのは苦手なうえ、上司という立場もあってなかなか誘えずにいたのですが、
思い切って誘ってみようと先日飲みに誘ったら、噂になりますよと笑って言われ断られました。
断られた以上もう誘うことはできませんが、気持ちを切り替えて次に行けばよいか、
少し様子を見た方が良いかアドバイスをお願いします。