同棲中の彼氏について

彼氏についての相談です。
現在付き合って3年、同棲して1年の彼氏がいます。
家賃なども払ってくれて、平日仕事のある日でも家事を手伝ってくれたり
普段はとてもいい彼氏です。

結婚するならこの人がいいなと私は思っていますが、 喧嘩することも多くお互いに不安に思っていることもあります。

その不安に思っていることですが、
普段だったらなにも言わないところで機嫌が悪いときや
自分の立場が悪いとき、私が彼の思い通りにならないときに
たまにうざい、死ね、消えろなど暴言を吐きます
それだけでも私としてはなかなか許せませんが
ひどいときには押し倒す、叩くなど、力加減はされていますが暴力的なこともあります。

落ち着いたら謝ってくることもありますが
彼は別れてもいいと思っているようで
結局別れたくない私から連絡をとり謝りやすいような状況を作るようにしてしまいます。

今回は喧嘩後私の体調が悪く
ほとんど話すことなく実家に帰ってきました。

私としては別れたいとは思ってないですし
喧嘩が二度となくなるとも思っていません。
しかし喧嘩するにしても彼女に言ってはいけない言葉を言うことや
暴力はなくして欲しいと思います。

どのようにしたらいいでしょうか？
今はお互いに連絡をとってませんが
体調がよくなり次第私が同棲してる家に話し合いに行くべきですかね？