理解できない

先日彼氏と過ごしているときに電車通学についての話をしていて、「痴漢に遭ったことある？」と聞かれ、「ない」と答えたら「ドンマイ」と言われました。
とっさに「ドンマイってなに？遭いたくないんだけど」と言い返したら「うん…」というよくわからない反応で、次の話題に移りそれ以上その話はできませんでしたが、まだモヤモヤします。
私は元彼は何人かいるのですが、今の彼氏とは初めて体の関係を持ちました。そしてその時にも「俺が卒業させてあげるから」と言われ「してあげるって何？別に頼んでない」と言ったら慌てて謝られ、その後も「おめでとう。これで大人の女性になったね」とよくわからないことを言われてモヤっとしました。
思えばそのころから「時々価値観の違いを感じるな」と思っていましたが、普段は優しいし、それは嫌だと伝えれば納得して謝ってくれるので付き合ってきました。
しかしここにきてさすがに不安になってきました。彼はどうもナチュラルに女性を見下している気がします。
痴漢に遭ったことがないという女に「ドンマイ」なんて言葉が(冗談でも)出てくるのが信じられません。
それに私は電車内の痴漢にはあったことはないけど、習い事の先生からのセクハラや通学路でのストーカー被害、道端ですれ違いざまに卑猥な言葉を浴びせられるなどの被害にはあったことがあり、それらの記憶がフラッシュバックして「ドンマイ」という言葉を思い出すたびにつらくなってしまいました。
彼とはそれ以降も普通に接しているつもりで、今日もいつも通りラインが来ていますが、今さら「ドンマイ」発言を掘り返して話し合いを持ち掛けてもいいものでしょうか？それとも今回は収めて、もしまた同じようなことがあれば真剣に「本当に嫌な気持ちになる」と伝えるのがいいと思いますか？
またこういう思想の男性にうまく気持ちを伝えるにはどういう伝え方がいいのか、もしよかったらアドバイスをお願いします。