付き合ってない異性から変なラインがきました。

去年の年末、知り合った男性と何回かラインのやり取りをし、真面目で優しそうな人だったので2人で2回ドライブに行きました。
一回目は微妙な感じで…
慣れれば平気かなと思い
2回めのドライブにも行ったのですが
やっぱり微妙な感じで
その後の誘いは何かと理由つけて断ったり
仕事が忙しいから落ち着くまで待ってとずっとラインの返事を3週間ぐらいしてませんでした。
その後彼から平日の昼間に突然セックスしようとラインきました。
でも、彼は平日の仕事中はラインしない人だったので別の人が嫌がらせで送ったのかなと思い既読スルーしました。
それでも変なラインが来たので既読にせずスルーしてます。
そこで質問なのですが、
彼はドライブの帰り家の前まで送ってくれたので家を知っています。
私は実家ぐらしなので実家を知られてます
今後ラインを無視し続けたら家に来る可能性ありますでしょうか…
今、すごく不安と恐怖な気持ちでいっぱいです。
自分の招いた責任ですが、今後どうしたらいいでしょうか