信用されてない？

付き合って2年半、同棲して1年です。
私が28、彼は27です。

お互いにゲームが好きで、色々なゲームを一緒にやっているのですが、よくゲーム内で一緒に遊ぶ方がギルド(チームみたいな物です)の人とオフ会するんだけど来ない？と誘われました。
そのギルドの方の中にも仲の良い人がいるので、行きたかったのですが、彼が断固として行かせてくれません。
彼も一緒にと言っても拒否されます。
ここまで頑なに拒否されていると、信用されてないのかなと思い始めてきてしまいました。
彼もオフ会自体には理解もあるし、実際に行ったりもしていたようなので、何がそんなに気にくわないのかわかりません…
皆さんの意見を聞かせて頂きたいです。