寂しいと伝えるべきか

付き合って4ヶ月の彼がいますが、最近より前の今までは結構会っていました。
１日しかやすみがない彼に合わせ私はシフトなので休みを合わせて会っていて、平日も一緒に寝るだけとかでしたが、ご飯食べたりだけなど会っていました。

先週ぐらいから、たまに前も会ったのですが疲れてるからゆっくりしたいと言われ断られる事がありました。
そういう時もあるもんだーと軽く考えていましたが、その週の休みの日も彼は体調を崩し会っていたのですが１日爆睡していて会話を一切せずに私は看病して終わり結局話しもできませんでした。
今週も休みの日は、友達と遊びに行くらしく、私とは疲れてるからどこにも行かずごろごろでいい？と言って、どこにも出かけませんでした。
おまけに平日も家に行っていいかといつものように聞くと今日は1人でゆっくりしたいと断られるか、彼が用事があるとのことで会えず頻度が明らか減りました。

○○曜日ならいいよ！と言われた時があったのでその日は私が微妙でしたがこちらが合わせないと次いつ会えるかも分からないし頻度も明らか減ったので、合わせていいよと言いました。

ですが後から考えてみれば操られてるというか、私の言った日はダメで彼の都合に合わせて、おまけに休みの日は私とはどこにも行かない日が続いてるのに友達とは、遊びに行ったりしてこれは、我慢するべきなのでしょうか？

それとも彼に寂しい事を伝えるべきなのか悩んでいます。
どう伝えていいかわかりません

コミニケーションが足りてないねとは言ったのですが気のせいでしょと言われて終わりました。
彼は私がこういう事を言うと必ず気のせいや、考えすぎなどと言われて終わりです