結婚願望のない彼

長文失礼します。

彼（27）社会人 実家暮らし、高校の同級生だった
私（27）フリーター 実家暮らし
交際4年半

彼は恋愛経験のほぼない私が初めてちゃんとお付き合いをした大切な人です。
常識的におかしいことはわかっていますが付き合い始めから子供ができたら責任をとってくれるということで避妊をしてこなかったのですが今までできず、私自身婦人科系の軽い病気が発覚し将来子供ができるのか不安です。
最近はケンカの繰り返しですがそれでも私はこの人しかいないと思っています。
20代前半の頃はやはり結婚をする子が増え憧れからしつこく結婚について聞いてしまい彼もうんざりしていたと思います。
そこからあまり口にしなくなり、月日は経ちこの年になりやはりまた結婚について考えるようになりました。（周りからいつ結婚するのかと聞かれる事が増えたのもあります）
私「今までタイミングを考えてはいなかったけど4年以上妊娠しなかったことが不安、子供のことを考えると結婚についてどう考えているのか聞かせてほしい、今までフリーターだった私が結婚について言うのはあつかましいけれど結婚資金などお金を貯めるなら私も頑張って転職を考える」
彼「周りには34歳で出産した人もいるし友達も33歳の彼女とまだ結婚してないよ？27歳で考えるのは早くないか、何を焦ってるの？」
私「焦ってはいないよ、子供のことが不安なの。結婚願望はないの？」
彼「あるけど子供ができないなら2人でもいいよ俺は。」
私「それは私だって色々試してダメだったら2人でもいい。養子だっていい。そうじゃなくてプロポーズはしたくないとか、子供できたら結婚するとか考えてることがわからないのが不安。責任感はないの？」
彼「責任感はあるよ、でも俺は頼りないし、、そんなに〇〇が結婚を考えてるなら他の人のほうが幸せになれるんじゃないかな、、」
私「じゃあ私は他を探せと？」
彼「なんで他をすぐに探すとか言えるの？俺はそんな事絶対言えないよ、、」
私「いやいや、あなたが言ったんでしょ」

と、こんな感じにいつもなります。
（いっその事性別を交換したほうがうまくいくと思います）
私の家庭環境的にも厳しい生活で高校から働いていますが貯蓄等もできずさらに一時期心療内科に通院していた為やっとフリーターとして今落ち着いています。（今はなんの病院にも通っていません）
金銭面で全て彼に頼ろうとは思っていませんし、今すぐ結婚！ではなくどういう風に進めていくか、いつ頃するか等をしっかり話し合えれば安心するのです。
私自身なにも負担をせず結婚結婚言うのはただの寄生女だと思いますしだからこそ今後の事を話して動きたい。
彼に責任感はないの？なんて言うのは女性として酷い事だとはわかっています。
彼は社会人になってから激務にも耐え、素晴らしいと思いますし、一度私の母の面倒もみたいから仕事が落ち着くまで待ってほしい、家庭を持つならひもじい思いをさせたくないと何年か前に言ってくれました。
それから何年経ったのかわかりませんが、、。
上記の事を全て私は話していますが彼はやはり「うーん、、」とか「考えてないわけじゃない、、」とかばかり。
やはり男性と女性では結婚を考える歳が違いますし彼が結婚を考え始めてから結婚するのが一番でしょうか。
それが一番なのはわかっていますが今現在彼の仕事上1年以上昼間からのデートがなかったりイベント（誕生日やクリスマス）もいっさいやらず交際を続けてきて私もキツイですし出産適齢期と今までの不妊を考えると後悔するのでは？と不安です。
私はどうすればいいでしょうか？