紹介されて知り合った人

職場の人に紹介されて、知り合いになった男の子がいるのですが、
その子を見てて恋愛対象にもならないし、友達でいるのもなんか違うな、会って飲んだりするのもだるいなと思ってしまいました。
周り（職場の人)は盛り上がってくれてるのですが、私的にはその子と合わないなって・・・。



誘いを断っていれば、自然に連絡こなくなると思うので、そうしようかなって思うのですが、相手に失礼ですか？