先に手を出した方が悪い？

20代後半女です。
彼は20年上、バツあり。

先日、とてもショックなことを言われ、本気ではありませんが、彼の頬を軽く叩きました。ムカついたのは本当ですが、もちろん本気で打ったつもりはありませんし、怒った態度を見せるようなつもりでした。
ただ、彼からするとその態度にかなり腹が立ったようで、激怒し頬を叩き返されました。彼も本気で打ってはいないと思いますが、赤くならなかったものの、押さえると骨の部分に少し痛みが残っている程度です。

そこまで怒るとは思っておらず驚き、手をあげることもこれまでなかったので私は怖くなり、気が動転してしまい、その場で必死に泣きながら謝りました。
彼も悪いと思ったのか、ようやく落ち着き「打つか！？普通。お前が先に手を出した。」と言ってばつの悪そうな雰囲気でした。

冗談のようなつもりでしたが、確かに先に手を出したのは私です。彼も恐らくカッとなってしまい、思わず手が出たのだと思います。
私が打ったのと同じように、本気で打ったつもりはなかったのかもしれません。
でも思い出すとやはり怖く、私が悪いと言い張っているのにも少し疑問が残ります。

この件で彼と少し話したいと思っているのですが…
彼もきっとやってしまったという思いもあるかと思います。打った方の手にも心にも痛みは残ると思います。そう考えるとこれ以上蒸し返さない方がいいのか…

客観的に見てどうでしょうか。ご意見お聞かせいただければと思います。