彼氏が浮気をしているようです

付き合って３か月の彼氏がいます。
互いに地方から上京しています。

お盆のとき互い実家に帰ったのですが帰ってから彼の様子がおかしくなり、戻ってきてすぐに別れを告げられました。
そのときの私は納得せず、４日程度日にちをあけたら彼は「やっぱり別れるの嫌だ」と言ってくれたのでそのまま続きました。

それから最近もう一度彼は実家に帰り、帰ってきた昨日からお泊まりをしました。
悪いとは思いましたが携帯を見てしまいました。

そしたら実家に帰ってから昨日まで、地元の女の子と電話したりお泊まりしていたことが分かりました。
ちなみにその女の子は彼が地元にいたとき彼に告白されています。女の子は当時彼のことをフリました。
（付き合ってから１度ラインを見せてもらいましたが、互いにまだ好きっぽい感じのやりとりをしていました）

携帯を見たことは彼に告げませんでした。
その夜彼になんとなく、私のことが好きか、他に好きな子いないよね？と聞きましたが彼は私が喜ぶ回答ばかりします。

きっと私は上京してきて都合のいい女だったのでしょうね。
私はどうにかして彼に仕返しをしたいです。（言葉で返すにも私は口喧嘩などは弱いので･･･）

どうしたら良いのでしょうか。
知恵を貸してください。