職場の女性

既婚6年目一児の父親(31)です。職場の女性(29)の事で悩んでいます。
朝の挨拶程度しかしないのですが、その人の事が気になってしまい毎日が辛くて仕方ありません。
相手の女性は誰とでも笑顔で話せる明るい人で、休憩中などに色々な人と話をしているのを見かけます。
私自身は探し物で困っているときに手伝って一時的に一緒に探す程度です。客観的に見ても職場の社員の１人程度の関係でしかないと思います。
気になりだしたきっかけは、たまたま同じテーブルで休憩している時に他の人との会話で「関口さんは優しい」と言われたことだと思います。
とっさでなにも答えられませんでしたが、それから少しずつ意識するようになってしまいました。
一度、休憩中に話かけられた時は、大した話しはできず、また自分の事をオタクと言ってしまったりと酷いところばかりです。
もともと休憩時間はあまり合わない上に自分からは話かけられません。
それでも、他の社員と話しているのを見ると辛くなります。
妻も子供もいるのに、こういった事を悩んでいることも最低だしと思います。
ですが、気持ちの整理がつかず日々が辛いです。