職場の同僚女性

会社の同僚女性2名から、ある展示に行こうと誘われまして行くことになりました。
（自分もその展示には行ってみたいと声に出してはいました）
その同僚は他部署の方で、僕からは業務的な助言とか、片方には人生相談あたりまで少し乗ってあげたりしていました。
相談乗っていた方には多少、個人的感情もありました。
それなりに仲良くしている中で行こうという事になりましたので楽しみにしていたのですが、実は結構アウェーだったことがわかってしまいショックを受けている次第です。

・○○さん（僕の事です）だし服装とかは適当でいっか
・当日は早々に帰りたいから「17時のバスに乗りたいから～と伝えるつもり」
・本当は3人で行くのはなあと思ったんですけどね、
　行きたがってたし日頃の感謝もあり誘ってみた
　（個人的感情は含んでないことは強調）

こういうことを陰で言われていたことを知ってしまいました。
ちなみに本人達が話しているのを直接聞いています。
こんな時、皆様ならどうされるでしょう・・・
いくつか選択肢はあるともいます。

１．アウェーを承知で今後社内でのやり取りの影響を考え、当日も普通を装う
２．知ってしまった以上、楽しめるわけもないので行かない（理由はいわない）
３．知ってしまった以上、楽しめるわけもないので行かない（理由をいう）
４．その他（他に良いお考えがあれば）

本音と建前なんてよくある話ですが、実際に降りかかるとかなり心に響きます・・
どんな風にすれば一番心の折り合いが付くのか、ご意見頂けると幸いです。

宜しくお願い致します。