先日

特に話に触れなくて良いと思います。
もし触れたら「もしかしたら誘ってる？」とかのあらぬ期待をさせてしまうリスクを高めます。

仮に向こうが誘っていて、あなたがそれに答えるという形なのであれば、
「言外の要求に応じる」という形なので、その話に触れたほうが良いということになりますが、
互いに特にそのような話の流れになっていないのであれば、
触れないほうが良いです。

触れることで意識化（問題化）されて、かえって面倒になります。