遠距離恋愛と同棲について

20代後半女性です。
福祉施設に勤務しており、同じ職場に40代前半の彼氏がいます。

彼とは付き合って10ヶ月になります。
付き合った頃から、彼は年齢的にも交際するなら結婚も視野にいれていると言われていたので、私もそのつもりでお付き合いをしていました。
ケンカは多く、別れ話をもう3度はしました。
しかし、私は彼と別れたいと思ったことはなくいつも彼の方から「やっぱり合わない」と言われ、最近ではまたそれかくらいにしか感じなくなりました。

そんな彼と、私は同棲したいと考えておりつい最近、私の家の近くに新築の賃貸物件があり2人で内見しました。
彼は実家暮らしで、実家は職場から遠く、高速を使って車で1時間はかかるところでした。兄弟はみんな県外へ出ている為母親と2人暮らしです。

内見が終わった後、彼は「やっぱり実家に母親を置いて(私)と暮らすことはできない」と言われました。
「それよりも、俺の実家へ来ればお金もかからないし、俺は実家から出る気はない」

私は何も言えませんでした。
確かに家族が大切なのは分かります。ですが、私にとっては彼がお金をケチって実家で暮らしているとしか思えませんでした。
彼にだって私(彼女)がいます。結婚などその先の話もしているのに、自分の新しい家族のことも考えてくれてもいいのではないかと思いました。

私の住んでいる地域の方が、お店もあり便利もいいのですが、彼は実家から出ないの一点張り。
私だって、今より不便な地域へ行って、彼の母親と3人で暮らし、通勤にも時間がかかり往復2時間。そんな暮らし正直したくないです。
私の苦労は考えてくれていないんですかね。

長くなりましたが、みなさんの意見を聞かせてください。
私が折れるしかないですか？？