バツアリ同士の付き合いについて

皆さんから アドバイスを頂きたく思い投稿します

私は43歳、バツ2で 中3と中1の子供がいます
最初の旦那との間に子供は無く2人目の 旦那の子供が2人です

彼は40歳、バツ一番で中1の子供を元妻が引き取っています

付き合って1年半になろうとしています
彼は父親と敷地内に別棟で生活しています
最近、彼のお父様が３人で食事に行こうと
誘って頂き、何度も食事に言ってます。

何回も申し訳ないからと断わろうとすると
彼は オヤジが喜ぶから良いんだよ
と言うので、つい言葉に甘えてご馳走になっています。
お返し代わりに好きな焼酎などをプレゼントしたりしています。

お父様は、私の名前や住んでる場所や年齢は知っていますが、バツありで子持ちであることは知りません。

結婚の話がある訳でも無いのに
私からお父様に話すのも、、、と思ったり
何も言わないでいれば お父様にしたら騙されたみたいな気分になるのかな、、と思ったりと考えています

彼からは ちょっと話にくい様なんです

私の考え過ぎでしょうか
彼は男兄弟しかしないせいか
お父様には とてもよくして貰っていて
なんだか 今後どうしたら良いか悩んでいます。