納得がいかず不完全燃焼で納得がいきません

友達として３年過ごし、猛アタックしてつきあった彼に付き合って５カ月で振られました。
理由は合わないから、でした（最終的にはそう思います）。
年末、彼とご飯を食べに行きました。
彼が鍋に入っている骨付き肉の肉を手間取りつつ全て取ってくれました。
その際に、私はそれなりに時間かけて手を滑らせつつもやってくれている彼に対して、
「大丈夫？私もやるよ」とかおしぼりを差し出したりせず、ただ段々イライラしていく彼を見え、先に食べ終えてしまいました。食事を終え店を出た時に彼が、「自分がやってるのに、気にもしない、先に食べ終えてる、やってもらうのが当たり前と思ってない？」と怒りました。
それはもっともだと思い、その場で何度かごめんなさいは伝えました。そのまま彼の家に着いたあとにも謝りました。年始に彼の家から自分の家に帰った後にもお礼と5日間一緒にいたため、迷惑をかけたこともあったと思い、それも含め謝りました。
ただ、その後彼から連絡が１週間なかったため、彼はまだ思うところがあるのかと感じ、私の中でもきちんと気持ちを伝えられていない気がしたので、電話で再度謝りました。

その後、彼とデートの約束し３時間ふらふらと歩き、１時間待って喫茶店に入りました。途中までは彼も多少楽しく過ごしていました。彼が食べていた食べ物を途中分けてくれました。その時私は、口の中がいっぱいでその場でお礼を言い損ねました。
その後くらいから彼の機嫌が悪くなりました。お会計の時に私が支払うと、彼が、
「君が払うの？」と聞いてきたので「あなた全然食べてないから」と答えました。
その後彼が、不満があるときの癖を出しつつ「時間遅いし、疲れたから帰る」と言ったので、「どうした、大丈夫」と聞くと「疲れただけ」といいましたが、そんなわけがないので　「本当になにもないの、大丈夫？」と聞きましたが、彼は帰って行きました。

かなり良くない空気で終わったのですが、私はどうしようもなく普通に過ごすしかなく、
2日ほど過ごしましたがよくないと思い、彼に電話しました。
ひとまず分からないので、「この間は大丈夫だった？」と聞くと「それで電話してきたの？」と飽きれたようでした（そこで、ご飯分けてくれたのにお礼言わなくてごめんね、すぐ謝罪の連絡入れなくてごめんねと言ってほしかったようです）。「それだけじゃなくて、もう私といるの嫌になってるよね」と聞くと否定しなかったので、一旦そこで彼に自分の気持ちを伝えました。
そして土曜に話しあうことになりました。

土曜、彼に話を聞くと鼻で笑いあきれたように、「肉の件だけど、本当に悪いと思ってるなら、帰った日か翌日に連絡してくると思った、でも連絡がないので自分の気持ちを折り合いをつけて終わる頃に君から電話が来た」と言われました。当日に謝ったのは、カウントされていなかったのか、謝罪が足りなかったのかはわかりませんが、そうならそうとなぜ当日に言わないんだろうと思いました。それにこちらとしては、肉の件があった日以外は2人で楽しく過ごしたこともあり、当日の謝罪で終わったと感じていました。

そして彼と喫茶店に行った日、私が機嫌の悪い彼の顔色を窺っていましたが、それも、「顔色窺うくせに何も言わない、行動にしない、肉の時と同じことを繰り返していると思った」と言われました。ただ、喫茶店の時は本当にどこが彼の地雷だったのかが未だに不明です。あいまいに謝罪しても更に怒ると思いましたし、彼の機嫌の悪い理由がつかめなかったですし、彼も自分で言わないため、私は過去の経験から引っ張り出して対応したんだと（過去にあったことも含め）説明するしかありませんでした。
それも伝えましたが、「そもそもそういう次元の話と思ってなかった、やっぱり合わないと思う、それに今の君を見てるんだから、過去の話は関係ない、自分にその話をする必要はない」と言われました。
ただ過去もあっての私、私の行動ですし、そういう話もして理解を深めるのでは？と思っていました。

その日初めて彼が思っていたことを聞きましたし、こういう恋人でいたいという話を聞きましたし、いままで腹を割って話をしたこともありません。
なので、こちらとしてはそういうことは初めてするのだから、そういう次元の話とか言われてもそこに達してもいないので、なぜそう思ったのかも含め、もっと話し合いたいといいましたが、彼はもう話す気も聞く気もなかったようです。
何を言っても、それは～でしょ、そういう話ならもう帰るとしかいいませんでした。

それに「自分はもう３０だし、２０半ばくらいまでだったら話し合いしてすり合わせようとかしたけど、無理」と言われてしまいました。確かに彼は結婚や子供を意識していたようなので、わかりますが、いずれにせよそういう踏み込んだ話し合いもしないまま上手くいく人はいないのでは…と思いました。私の前に3年付き合っていた方とも、なんか合わない違うと思うで別れています。

それもですし、もしかしたら、このことだけでなく、他に彼が私がとった言動で嫌だな、と思ったことがいくつかあり、別れるための大きな口実をさがしていたのかもしれないと思います。
喫茶店に行った次の日、配慮は足りなかったですが、どうようもなかったので、普段通り、
インスタで面白い動画のリンクをストーリーを投稿してたことも癪に障ったんだと思います。
ただ、やはり普段とった言動の話であればその時か、少し時間をあけて伝えることもできたはずです。エスパーではないのですべてを察することはできないですし。
（それをできる人でなかったから元カノさんとも別れたんだろうとも思います）

腹が立つのは、私の過去の話を聞いた中で「過去の人を悪く言うのは違う、少なくともその時に君が自分で決めて付き合ったのだから、それは自分は違うと思う」と言われました。
それはそうです。もちろんそのつもりもこちらはありませんでした。
ただ、そう思うのであれば、あなたも自分で決めて付き合ったのだから、
私に対してもう少し経緯を持って最後くらいきちんと話をすべきなのでは？と少し腹がたちます。

こちらがすべて悪いとまでは言わないとは言っていましたが、責任をすべて押し付けられたような話し合い（？）だったでした。
こちらもあちらがやってきたことに対して、地雷をふまれたこともありましたが、
腹を割ってこれは地雷だと話したこともなかったですし、
お互い様の部分もあるだろうからちゃんと話す時間を設けて言う予定でしたが、
それもできずこういう結果になりました。

私は比べるものではありませんが、今までの中で一番好きな人と付き合っており、
全く納得のできない話しのまま、不完全燃焼で別れているので、
全く気持ちが追い付いていません。

どうしたらよかったのでしょうか？