高校時代の先生と食事

大学生です。ある日、高校時代の先生と偶然会いました。先生は担任ではなかったのですが、大学受験のときにお世話になった方で、生徒からも人気で、私もそれなりに好きな先生でした。
そのときに「飲みに行くか」と言われ、社交辞令だろうと思い、「いいですね」などと適当に受け流してその場を後にしました。
でも、冗談だと思っていたのに、後日先生から連絡が来ました。もともと受験のときに何かあったら、ということでお互いの携帯番号は知っていました。
とりあえずご飯を食べに行こう、ということになり、先生にはお世話になったし好きな先生でもあるから、まぁいいかと思い、食事に行くことになりました。それとはまた別に、私の姉も高校時代の恩師と何度か食事をしていたのでそういうことに抵抗がありませんでした。
詳しい内容は省きますが、当日先生は車で来ました。まず、そこに少し驚きました。普通に電車など利用したり、利用しなくても近場の所に行くと思っていたので。
先生はとても喜んでいました。「お前変わらないな」と笑っていました。就職のことなどについて話すのかと考えていましたが、実際は高校時代の思い出みたいなのがほとんどでした。でも、私は先生との関わりは受験のときぐらいなので、それほど先生との思い出はありませんが。
「奢ったりするのはお前くらいだから」などとも言われました。そんなことを言われても、正直嬉しくないし、特別扱いみたいな感じもなんだか嫌でした。
私には今、恋人未満のような感じの人がいるのですが、そういう相手がいるという話をしたところ、先生はすごくつまらなそうな顔をしていました。いくらなんでも、感情を表に出しすぎっていうか、なんというか、、。
その日は都合があってあまり時間がなかったため、先生がまた後日しきり直ししようと言ってきました。そこで、私は自分は馬鹿だったなと思うのですが、いくらでも理由をつけて断れるのに了承してしまいました。私は性格的に、思ってることをはっきり言えなかったり、他人に流され気味だったりするので、これは自分が悪かったなと思います。
もう次の予定も決まってしまったのですが、本当は行きたくないです。でも大人になったらこういうことはいくらでもあるのかなとも思います。でも嫌です。
決定的に無理だと思ったのは、食事をして車で家の近くまで送ってもらったときに、頭を撫でられたことです。正直引きましたし、ショックでした。高校時代、先生は生徒の頭を撫でるようなタイプの人ではなかったため、とても戸惑いました。今思い出すと嫌悪感すらあります。
先生は４０代で、既婚者で子持ちです。母にはこのことについて話してあります。母も「なにを考えてるんだろうね？」と疑問を感じているようです。
先生は体育会系で元野球部の方なので、こういうことは、もしかすれば当たり前のようなことなのかもしれません。でも、私は根っからの文化部の人間なので、よくわかりませんし、自意識過剰なだけかもしれません。
友達にも相談しました。友達には「理由つけて断れば」と言われ、たしかにその通りなのですが、お世話になった先生だということがどうしても忘れられず、断りの連絡すらできません。
当日は適当に理由をつけて早く帰らせてもらおうと思っています。先生のとこは、嫌いになりたくないです。
みなさんは、この先生の言動についてどう思いますか？？