溜め込んでいきなりキレる

同性をはじめて一年。
相手は職場の上司で、いつも穏やかで、いつも笑顔で紳士なところに惹かれ、付き合いました。
家事は私が料理。相手はそれ以外のほとんどを積極的にやってくれます。
基本喧嘩はしないのですが、いつものように会話をしてると、ふと、いきなり笑わなくなり、ふてくされたような態度をとるようになりました。
その内容というのは、、
会話中相手が説明をしてくれてる最中に私が携帯をいじった。
テレビを見てマッタリしてるとき、私が手持ち無沙汰で◯玉を弄り、それが痛かったのか、怒った後、会話をしなくなる。
など。
今まで同じような事をしても毎回笑って、やめろよーって感じで言ってくれるのですが、いきなり、キレてふてくされるのです。
もちろん、私が悪いのですが、今まで何も言われなかったからふざけてやっていたことです。
今年結婚も。。。と考えていたのでこの先ちょっと不安です。
その、ぜんちょうもなしにキレてふてくされる、以外は最高の彼なのですが、、、
皆様のご意見が聞きたいです
よろしくお願いします。