彼氏が私の部屋にくることが苦痛になってます

悩んでいます。アドバイスやご経験談などを　よろしくお願いします。私も彼氏も30代です。付き合って３年がたちました。彼氏からは付き合って半年たったころに、私の家に寄っていきたいなと話がありました。私は一人暮らし、彼氏は一人暮らしではありません。その半年間の間は、外でご飯を食べたり、映画を見に行ったりのデートをしてきました。その時は彼氏に「申し訳ないのだけど、今日はやらなきゃいけないことがあって、時間がないからごめんね」とお断りしました。私だけなのか？時々わからなくなってしまい、悩むことがあります。
その後も、彼氏から私の家にあがっていきたいと、言われました。何度も断っているままだと、彼氏に悪いかなと思い、彼氏に家にあがってもらいました。彼氏は喜んでいました。ただ、正直なところ私は仕事で疲れていることもありますし、自分だけの時間も大事にしたいのです。
彼氏も趣味があるので、自分の時間はそれはそれで楽しんでいるようです。何度か、彼氏が家にくるようになり、彼氏は自分の好きなテレビを見たり、くつろぎながら過ごしています。私の気持ちの中に、一人でのんびりしたい、一人になりたいと思うことがあるのです。私は少し違うのでしょうか？好きな相手なら、ずっと一緒にいたいと思うのがごく一般的なものなのでしょうか？
もちろん、彼氏のことは好きです。ただ、自宅に彼氏を招くことで、疲れがでてきています。結婚するなら、そういったことは乗り越えていかなければならないことだと思いますが、彼氏との間で結婚の話をしたことはありませんし、私は今のところ、結婚願望がありません。彼氏に自宅でのことをお断りする良い方法など、意見や同じ経験をされたことがある方など　よろしくおねがいします。今年に入ってからは２回ほど外で会いましたが、家にあがってもらうことには「残りの仕事やらなきゃいけないから、ごめんね」「疲れているから、ごめんね」などの理由を伝えてお断りしてます。よろしくお願いします