たまに避妊を嫌がる彼との今後について

閲覧有難うございます。
現在交際中の彼氏との今後についてアドバイス頂きたく投稿させて頂きました。
お付き合いしている彼は41歳（5年前に離婚したバツイチ子無し/会社経営者）
私は26歳求職中の女です。
昨年12月に仕事関係で知り合い、3回のデートを重ね今年3月から交際がはじまり現在6か月を迎えたところです。


タイトルにもありますように、抱えている悩みは避妊（コンドームの装着）を時々嫌がることです。6回に1度ほどの割合で「このままじゃダメ？」と聞いてきます。
そこについては押し流されず私もキチンと拒否ができるため、結果要求が出ても必ず装着しての行為となります。私が断れば食い下がる事や不機嫌になる事もなく素直に装着に応じてはくれるものの…なんだかんだその様なやり取りが今までの中で4～5回は発生しています。


なんだか愛されてないなと悲しくなるのですが、セックス以外でのスキンシップも多く、デート後も車で1時間程かかる自宅まで送ってくれたり、自宅の鍵も早々に渡してくれたり、事後もずっと寄り添ってくれそのまま食事も作ってくれたり、行為をしていいかの意思確認もちゃんとしてくれるし…。
また、1月ほど前に会社の業績が芳しくなく、今後苦労をかけると思うしその事が気がかりなら別れてくれても大丈夫とも言われました。
この点に関しては普段の私はどうしても知りようがないですし、それをわざわざ告げ、選択支をくれるという事は私の事をそれなりに考えてくれているポイントとも思えます。
普段からぞんざいならともかく、それ以外では上記の点等の愛情をとても感じるので私もうじうじと悩んでしまい…（しかし、生に行き着くためにいい顔を演じているのでは…という疑問も最近感じてしまいます）


先日電話で「結果つけてくれるとはいえ、何度も要求されるのは私が本当に嫌な事を理解して貰えてないようで悲しい。他のことに不満は何もないけれど、重要な事だからこのまま変わらないのなら交際を考えたい。どう考えているのか知りたいので今度ゆっくり話しましょう」とは伝えました。ので、今頃真剣に考えてくれているとは思うのですが。


上記に書いたように相手の年齢等もあり、「そもそも私がこんな事言わなくても配慮ができて当然だろう、バツイチで家族計画もしたことあるなら尚更に（奥様といたとき子供を望んでいたが授からなかったと聞いたので）」という考えもあるので、猛省していたとしても関係を続けていくのが正しいのかどうか…正直言って今回の点に関してはどうしようもない男性だと思っていますが、前述したように他の面は何も不満がなく大好きなので、改善されたとしたなら付き合いを続けても問題ないのか、私自身もとても困惑しています。

うまく客観視ができず、冷静な考えを導きだせず困っています。
皆さまのご意見をお待ちしております。