バツアリ同士の付き合いについて 彼の親について

皆さんから アドバイスを頂きたく思い投稿します

私は43歳、バツ2で 中3と中1の子供がいます
最初の旦那との間に子供は無く2人目の 旦那の子供が2人です

彼は40歳、バツ一番で中1の子供を元妻が引き取っています

付き合って1年半になろうとしています
彼は父親と敷地内に別棟で生活しています
最近、彼のお父様が３人で食事に行こうと
誘って頂き、何度も食事に言ってます。

何回も申し訳ないからと断わろうとすると
彼は オヤジが喜ぶから良いんだよ
と言うので、つい言葉に甘えてご馳走になっています。
お返し代わりに好きな焼酎などをプレゼントしたりしています。

お父様は、私の名前や住んでる場所や年齢は知っていますが、バツありで子持ちであることは知りません。

結婚の話がある訳でも無いのに
私からお父様に話すのも、、、と思ったり
何も言わないでいれば お父様にしたら騙されたみたいな気分になるのかな、、と思ったりと考えています

彼からは ちょっと話にくい様なんです

私の考え過ぎでしょうか
彼は男兄弟しかしないせいか
お父様には とてもよくして貰っていて
なんだか 今後どうしたら良いか悩んでいます。