どうしたらよいのか(TT)

こんばんは。単刀直入ですが、ここ数日対応に困っている出来事があります。
私は高校生(通信)で喫茶店のバイトをしているのですが、先日2回以上は来店していた方から連絡先を渡され、食事に誘われました。
ありがたいとは思うのですが、お相手がなかなか年上なもので対応に困っています。
変な人ではなく、医者をやってるという真面目そうな人だったので断りの連絡をすべきか否か…と。
やはりスルーはしない方がいいのでしょうか？

この他にも何度か声をかけられた事がありその度悩んでしまいます。こういう時に良い対応策も教えて欲しいです。