そんなこともあったね

彼に、そうえばあの時○○って言ってくれたね～とか、そうえば去年の今頃は○○に行ったなど、彼が私に言ってくれた言葉で嬉しかった言葉などで言ってくれてあの時嬉しかったんだぁ～と1年前以上の時だったりしますが、最近話したりすると、「そんなときもあったね」「そんなこともあったね」と言われます。
思い出したくないと意味なのでしょうか？

たしかに最初の頃とは立場逆転してる気がします。彼は私がいつ別れを言ったとしてもすんなり別れを受け入れてくれるであろうし現にふられたら今の俺が無理なのだからそれは仕方ないと言われた事もありますし、本当に好きなのかな？と思う事も多々あり、
そんなときもあったねなどと言われて、じゃあ今はどうなの？と疑問に思ってしまっている自分がいます。

彼のこの言葉の心理はなんなのでしょうか。