どうお断りするべきでしょうか？

二十代、女性です。

先日、所用で大阪に行った際に年上の男性から声を掛けられました。その時、はっきりと彼氏がいることを伝えるべきだったのでしょうが、伝えられず、お話しした後、ラインの連絡先だけ交換しました。

最近は一日に一度か二度連絡するくらいだったのですが、休日に一緒に何処かに行かないかと誘われて困っています。

何とお断りすれば、相手を傷付けずにすむでしょうか？身勝手な相談で申し訳ありませんが、御返答頂ければ嬉しいです。