遠距離恋愛について

関東住みの私には、関西住みの男性がいます。
彼はまだ学生で、私は今職についてます。

お互い心を許して、2度あっては性行為にまで発展しているのですが、
お互いの時間がない中、遠距離という壁のせいか、冷め始めました。

会いたい。
でも金銭面でも、仕事上でも会えず、ついには「最近好きかどうかわからない」と言われてしまいました。
来月には私の時間が空き、貯金も貯まったので「会いに行きたい」と言っても「会いたけど、会えない…」と言われてしまって…

ただ彼も縁は切りたくないようで「仲のいい友達として、ずっと連絡は取っていたい」といってます。

彼のとこへ行き、一度直接会話で話すべきでしょうか？
それとも、会わずにこのまま別れを切り出すべきでしょうか？

彼のことは好きです。縁は切りたくありません。
ただ友達となり、彼の恋愛を見ていくのは苦しいです。
正直悩み悩んでしまっている状況です。

何かアドバイスください。。。