何故か告白されたが断りました

現在、24歳の駆け出しサラリーマンです。
自分には親がいません。親戚は居るようですが自分は関わりたくないので顔も知りません。

施設上がりの何処の馬の骨とも知れない自分が、何故か同じ会社の人に告白されました。綺麗な女性で仕事も出来るのに、何故自分の様な石ころに告白して来たのか分かりません。

親がいない、奨学金も背負ったこんな自分に告白して何のメリットがあるのかと思ったので、自分と付き合う上で貴女には何も利する所が無い、仕事の妨げにもなるので今後接触はしないで頂きたいと伝えました。

そうしたら何故か自分が悪者呼ばわりされ、直属の上司から注意され、周りの女性社員からは総スカンを食らいました。

そんなに悪い事を言ったつもりはありません。施設上がりの馬の骨と付き合う方が道義的に問題ありと思います。

自分は何か間違っているのでしょうか？