どうすればいいの？

私は17歳年上の彼とお付き合いをしています。彼は私の元彼が会社の人で仕事上毎日顔を合わせなきゃいけないこと、どういう経緯で別れたというのもある程度は知っている上で付き合っています。
ですが最近、会社でのたわいのない話や今度こんな行事がある(会食、忘年会など)という話をしたりするとそれから元彼の事を話題に出してきて「その場所には元彼もいるんだろ？毎日元彼と顔を合わせているのが嫌。俺のいない所でわからないからって何かしているんじゃないのか？早くそんな会社辞めろ。今の会社にいる間は私の事を信用出来ない」と言ってきます。なので私は「不安にさせるなら私は行かない」と言うと「それはお前が会社にい続ける以上そんな事すると分が悪くなるから言ってくれば？」と先程言っていることと真反対のことを言ってきます。
確かに彼が不安に思うのもわかるので、元彼の事なんか何も思っていないと言うことを必死に伝えても口ていうのはいくらでも出来ると信用してもらえません。
私としては、彼との将来を見据えて少しでもお金を貯めるためにも、また結婚・妊娠という訳でもないのに唐突に会社を辞めるわけにもいきません。
彼に信用してもらえないのも辛いし、会社での行事事があるたびにこのような話をされるのかと思うと少し精神的にもきてしまいます。
ですが、彼のことは大好きですし、一体どうすれば彼も納得して貰えるのでしょうか？

意見等聞かせてもらえると嬉しいです。