好きになってはいけない

初めまして。
20代の男です。
私には付き合って４年近い彼女がいます。
同棲や結婚の話が出ていますが、どうにも決心がつかず、ズルズルと交際を続けています。
彼女とはその件でしばしば喧嘩になりますが、嫌いにはなれません。

そんな状況の中、ふとしたきっかけで、同じ職場の女性と関係を持ちました。
最初は全く意識していませんでしたが、二ヶ月程前から頻繁に連絡を取り合うようになり、一月程経ったころから、肉体関係を持っています。
その女性にも彼氏がいますが、先週別れ話をされたそうで、その彼氏とは別れるつもりだそうです。
正直、今の私はこの女性が一番好きです。
彼女には罪悪感を持ちながらも、先日、初めてその女性の家に泊まった時、何気ない顔や、家庭的な面を見て、初めて結婚したいと思えました。
浮気をし、かつ短期間での話なので、勝手に盛り上がっているだけでしょうか。
その女性も私に対して、こんなに好きになったのは初めてだと伝えてくれました。
かりそめの恋だと思っていましたが、本気になっている自分がいます。
客観的に見て、これは一時の情愛なのでしょうか。
職場の人にも、友人にも相談できないので、こちらで相談させて頂きました。