男性の考えがわかりません。

仲良くなって、毎日のようにLINE、たまに電話を交わし、初めて彼の家にお泊まりに行きました。DVDを見たり、飲んだり楽しい時間を過ごしました。私が彼の家に持って行ったタオルを持ち帰ろうとしたら『タオルくらいまた来るんだから置いておけば？』とかお互い違う都道府県に住んでいて中距離なので『今度は俺がそっち行くね』と卒業した大学は私の住んでる地域にあるので行くときは大学に挨拶しに行きたいと次お泊まり、会うことを匂わせるような発言を結構していました。しかし、別れたあと、私がお礼のLINEをすると、私の『楽しかったね』のLINEの返信が『そうだね』となんとなく素っ気なかったので気になって単刀直入に『私はまた会いたいなって思ってるんだけどそっちは？』と聞いたら『考えさせて』と返信が来ました。泊まった時もまた来て欲しい的な発言してたのにこの返信...何が何だかわからなくて戸惑っています。
彼は好きなものは好き、嫌いなものは嫌いとはっきりしているのでもう会いたくなければその通りの返事をしてくるのですが、曖昧な返事で彼の考えていることがわかりません。
壁があるとしたら私が５つほど年上で2人の住んでいる場所が電車で片道1時間半くらいかかるので、泊まっている時に大変かな？と話したことがあったのでそれを気にしているのでは...とかも考えました。あとは彼が付き合うならすぐ同棲したいとか、結婚を考えるとか言ってきたので遠回しに拒否したような発言をしてしまいました。また夜中に電話をしてきたので注意もしました。
いろいろ言ってしまったけど彼のこと大好きでこのまま終わりにしたくありません。
待つことはもちろんできるのですが、すぐに白黒はっきりさせたい彼が考えさせてといった心理がわかりません。