ガマンするか分かれるか

以前にもこちらでご相談させていただきましたが、
仕事が忙しい彼とお付き合いしています。

付き合って2か月ですが、最初の1か月は彼も時間に余裕があったのか、
お互いの住んでいるところで会ったりしていました。
ですが、6月に入っていきなり、連絡が減り、気づけば会えないまま1か月が経過しました。

元々、連絡頻度は高くはなく、1日1通～多くて5通くらいでした。
ですが最近は1日1通あるか、ないか。3日ほど返事がなかったこともありました。

一応、「来週あたり会いたいけど、仕事忙しい？」とか、「会えなくて寂しいから、もうちょっとだけ連絡が欲しい」と、重くならない程度には自分の気持ちを伝えています。(見方によってはこれだけでも重いのかもしれませんが)

ですが、「仕事がなかなか忙しくて、Kの地元に行く時間がない。行ける日ができたら連絡する」と言われたり、「仕事が忙しくてごめんね」と返されるだけです。

わたしの周りにはそんなに仕事が忙しい人がいないので、
彼の仕事がどれほど忙しいのか、全く想像ができません。
でも、頑張って理解しよう！と思い、「仕事なら仕方ないね。体調に気を付けて頑張ってね」と言っています。
彼以外の事にも目を向けようと努力しましたが、やはり、次に会う約束が無いことや、仕事がいつ落ち着くのかもわからないことが気になって、モヤモヤとした日々を過ごしています…。

周りの人の意見を聞くと、「1か月も会えないなんておかしい」とか、「どんなに忙しくても、わたしのことが好きなのであれば無理してでも会いにくる」とか、「わたしを優先しないのは遊ばれているから」と言われてしまいます…。

彼との出会いは、わたしが一目ぼれして声をかけたことがキッカケで、初めて食事に行った帰り際に付き合いたいと言われ、付き合うことになりました。（食事に行くのも仕事で予定が合わず、出会ってから3週間後くらいでした。）

彼とはまだ数回しか会っていませんが、その中で彼はとても優しいし、おもしろいし、わたしのことを大切に扱ってくれたと思います。
わたしが嫌だということはその意見を尊重してくれるし、強引でもありません。

なので、遊ばれているとはとても思えないのですが、周りの男性の意見は、「寂しくなったときのキープ」とか、「男なんてやりたいだけ」とか、「出会ってすぐに付き合おうと言うのはチャラいし何も考えていない」とか、「遊びの女でもちょっとは優しくするし、住んでいるところへ1回くらい会いに行く」と言われます。

わたしも不安に感じていたので、そのように言われると、自分で勝手に最悪のストーリーを組み立ててしまい、そうなのかも…と悩んでいるところです。

わたしとしては、彼のことは人として好きだし、ちゃんと向き合って付き合っていきたいと考えています。

なので、このまま彼と連絡を取りつつ、彼からの仕事が落ち着いたから会おう、という連絡を、ガマンしながら待つ、か。

一旦連絡を取るのやめ、自分の気持ちを整理してから、別れるのを覚悟で、自分が今こう思っているということを彼に伝え、話し合う、か。

この2つでとても悩んでいます。
正直、彼とは別れたくありません。
ちゃんと話し合ってわたしの気持ちを理解してほしいと期待してしまいます。

まとまりのない文章ですみません。
どなたか、ご回答いただけると幸いです。