好きになってはいけない人

私はほかの女性と５年も付き合っている男性を好きになってしまいました。
最近、その人が彼女の許可をしっかり得て、会ってくれました。もちろん彼女持ちであるので私は、彼と付き合ったり、身体の関係を求める気は一切ありません。ただ、話せれば十分です。あちらも卑しい気持ちなく私と友達として接したいと考えています。実際に、会ったときは本当にお互い楽しくお話して終わっただけです。
普通にこうしてまた会って話す機会があればと思い、「また○月に会いませんか」と聞いたところ、「前会った時からの期間が短すぎるからさすがに彼女が許してくれるかどうかわからない」と言われてしまいました。当然のことではありますが、私はそれでも彼にまた会って話だけでもしたいと考えています。
この報われない気持ちはどうしたらいいんでしょうか。新しい恋を見つけるまで彼の元に居座ってていいのでしょうか。