初彼について。

最近、付き合い始めた初彼について相談です。
私は学生、彼は同じバイト先の社員で職場では内緒で付き合っています。
まだ付き合っていない頃、よく話しかけられたり働いている姿がかっこよく見えていつの間にかその人に恋をしていました。でも同じバイトの子から彼女がいるらしいことは聞いてたし、相手は社員だし、遠い存在として恋愛に発展するまでは全く望んでいなかったのですが、ある日彼がいつものように話しかけてきて、「N（私）は彼氏とかいるの？好きな人は？」と質問されました。私は、「いませんよ～。好きな人はまぁ…。」みたいな感じで曖昧に流したんです。そしたら、そこから追求の嵐。逆に私が、「○○さん（彼）は彼女いるんでしょ？聞きましたよ！」というとポカーン。とされ、「え、いないけど。誰が言ったの？たぶん勘違いだよ。まぁ、気軽に相談してな。」と言われました。そして次の日にアドレスが書いてある紙をこっそり渡されました。そこからメールが始まり、なぜか話の流れから私の家（一人暮らしです）に来ることになったんです。男の人をいきなり家に入れるのは普通の人だったら絶対にしませんが、好きな人だったし私の気になる人がどうしても知りたかったらしく、約束した日に来ました。そして案の定気になる人を聞かれました。私はもうここはいくしかないと思い、「気づいてるでしょ。」と、ある意味告白？みたいな感じで言ってそこから相手も「うん。」ってな感じでその日から付き合いが始まったんです。

それからなのですが…。その日のうちにキス（ディープも）、お風呂一緒に入りたいといわれ断ったのですが私が入っている間にいきなり乱入(笑)
何日後にもまた家に来ました。（相手は社員ということもあり、早朝に起きてよる遅くに帰ってくるサイクルで一緒に遊びに行けなくて会うのは決まって私の家になりました。）
付き合い始めてから二回か三回ぐらいしかたっていないのに「エッチしたい」って言ってきたり（私は初めてなのでもちろん最初は何もしてきませんでした）この前は最後まではしていないけどよく求められます。最近は、服やらシャツやら洗ってと置いていき、ごはんも来るときは作ります。でも好きだったし、苦痛ではなかったのですが、家に来た時テレビを見てるだけで（体は求めてきます）、最近はメールも全くだし家にすら来なくなりました。バイトの時は、「最近忙しくて。本当は泊りに行きたいんだけど…ごめんね。」と言ってくれますが…。
正直、家に来るのはいやではないんですが、一人暮らしということもあり経済的に苦しいこと、あまり私のことを聞いてこない割には（会話が少ない、盛り上がらない）行為ばかり求めてくること、最近メールを全く返してくれないことから、私はただ使われているのか…ヤリ目（言い方悪いですが）なのか…。
最近本当に相手は私のことが好きなのか考え出したら止まらなくて、そのうち私も彼のことを好きなのか疑問に思ってしまいました。

彼氏ってこんなものなんでしょうか…。別れたいとも思うようになりましたが、バイトと職場が同じということもあり気まずくなるのも嫌で躊躇してしまいます。どうすればいいのでしょう。