付き合えないけど気になる人

付き合えないけど気になる人がいます。
彼とは3年ほど前にバーで知り合いました。
3回ほどご飯に行き、彼から告白してくれました。とても良い人で、遊び人でも無く素敵な方ですが、彼は個人事業でこれから居酒屋を営む予定もあり、現在は魚屋さんで夜の営業の仕事をしています。

私は結婚するならサラリーマンが良いので将来のことを思い断りました。

彼はFXも1年前から始めたそうで、その部分もあまり深く考えずにしてそうなところも不安なこともあり、一旦1年ほど前に告白を断り友達の関係でいたのですが、このままでは曖昧なので暫く会わずにいました。

そして最近久しぶりにご飯に行きました。
何ごともなくご飯に行き解散したのですが、私が彼に会いたくなり、その気持ちでいっぱいです。
でも、付き合うとなるとしっかり将来を見据えたいので彼とお付き合いすることはできません。

でも会いたくて仕方ないし、身体の関係だけでも正直いいかなと思っている自分もいます。
彼は真面目なので傷ついてもいけないし、でもこの感情を止めることもできません。

どうすればよいでしょうか？

ちなみに、わたしはこれまで一度も体だけの関係になった人はいません。

よろしくお願いします。