社内恋愛

社内恋愛で悩んでいます。
他部署の男性に片思いしています。
ですがその方はすごく真面目で社内恋愛はNGなようです。
私の先輩が色々聞き出してくれてそんな感じがしたからやめときなと言われました。
本人が公言していたわけではなく、その先輩曰く自分からは動かないなと。
2人で話したことは少ししかない程度でまだまだお互いのことは分からない状態です。ただ私を見かけたら手をふってくれたりしてきます。
週に数回、私のいるオフィスに来るのですが2人きりで話すタイミングはなかなかないです。
私の策としては友達としてなんとか連絡先を知れたら…と思うのですが話す機会がなく難しいです。
一度、バレンタインに私の連絡先を渡したのですが連絡は来ず、お返しだけ私のデスクに置いてありました。
その上数週間前は私に向かって自分は筋肉質な人がタイプなんだ～と冗談で言ってきてこれは遠回しに断ってるのかな？と思いました。
今後私はどうすればいいでしょうか？
アドバイスお願いします。