失恋後の周囲の反応

37歳になる独身男性です　失恋後の人間関係の相談です

私と彼女が知り合ったのは　某テニスクラブですが、彼女のことは以前から飲み会などで存在は認識しておりしたが
彼女がおとなしい性格（なれない人にはあまり発言しない）ため　それほど意識はしておりませんでした。
また、私のひたしくしているグループに彼女は入っておりませんでした。

そのグループで泊りがけで旅行に行く話しになりました。そのグループの男子と彼女が友達関係であり彼女も参加することになりました。
その彼女からメールが届き　”今度の旅行行きますか？”の問いに仕事が立て込んでいたので　”おそらく行かないよ”と返信しました
その返信として”あなたが行かないのであれば　私は行きません”との回答でした。
それまでの彼女の印象としては　飲み会で他の子と話していると　じっと視線を感じたり、気づくと隣に座っていたりとか。。
そのような状態が1年ほど続きました
奥がましいですが　おそらく私に興味があったと思います。

また　私は中,高,大学とテニス部に所属しており　そのグラブ内では技量的にコーチを凌ぎ
正直かなり、目立つ存在でクラブ内では快く思ってない方もいたかもしれません。（横柄な態度をとった覚えはありません）

その彼女に告白したとき　結論的には振られたのですが。。
私としては正直、狐につままれた感じて　またデートのとき失礼な態度が有ったのかも知れません　
またその後もクラブでは時々会いますが、特に挨拶することもなく　ましてや　ストーカ行為など行っておりません

問題はその後のクラブの周囲の反応です　
周囲の反応が明らかに冷たく、また　”技量は優れているがどこかヘンだ”　など　意味深な発言する人もいます
問い詰めても回答がありません

ひたし人に変な噂がながれていないか　確認しても　特にないとのことで　”それはお前が弱ってるだけで、気にするな
周りの人はもっといわれているぞ”　とあたかも私が言われているかのような感じを受けます

正直、クラブが面白くありませんし　また今までそのクラブで作り上げてきたものが　こんなことで失うなんて納得いかない
周囲の人にどのように思われているか　が気になって仕方ありません（今後　成長するためにも知りたい）


私に対する気持ちは個人によるものなので、すべてを理解することはできませんが　このような事態はまた起こりえると思います
どのように考え方を改めればいいのでしょうか　

皆様　ご教授お願いいたします