今さら後悔…

飲み会で知り合った彼を食事に誘いました。
自分で言うのも何ですが話も意気投合し、周りも良い感じと言ってくれるぐらい仲良くなれたような気がします。
それからLINE追加してくれたので私から会話を作りLINEでやりとりをしました。ずっと続けるのは気を使うので自然な形で終わらせました。
そして、最後のLINEから3週間後ぐらいにお誘いしました。
しかし自分から積極的に行動したことが今回が初めてだっため、
今になって誘って良かったのかと後悔しています。
答えはOKでしたが以前LINEしてた時よりも返信が
適当に素っ気無く感じてしまい、本当は引いてるんじゃないかと
心配してしまうようになり今はやりとりしてません。
何したい？と聞いてくれたり、食事は2人で？と聞かれたので
気まずいかな、と返信すれば別にいけるんちゃう？笑 と返って来ました。
とりあえず友達として仲良くなりたいです。
しかし会うことが今では怖く、自分で誘ったのに断りたいぐらい不安になってます。
私は彼を誘って良かったのでしょうか？
男性、女性それぞれの意見を聞かせてください。
お願いします。