元彼の心理がわかりません

最近、彼氏と別れた者です。

私と元カレの関係は、もともと私が彼の浮気相手だったことから始まりました。
（彼には遠恋の彼女がいたものの、私の部屋に通いつめ、ほぼ半同棲状態でした。）

そのため、彼のことを「彼氏」として信用できなかった部分があるのですが、どうしても理解できないことがあり、相談させていただきます。

元カレは一応、恋愛における正義を軽視はしない人だと思います。
例えば、別れてすぐに他の人と付き合い始めた人を見ると良い印象は受けていないようでしたし、パートナーがいる人が飲み会の場などで異性と行き過ぎた絡みをしているのを見ては憤慨するような人でした。

それでも、私との関係の始まりはやはり正義に反するものだと思いますし、彼もそれを自覚はしていて、遠恋の彼女と別れてからもしばらくの間は私との関係を自分から周囲には話したがりませんでした。
そんな都合の良い女扱いをされるのは決して良い気持ちではありませんでしたが、私自身も「浮気相手にされた女」もしくは「略奪愛」といった目で見られることを恐れて、自分の心に留めていました。

また、私の彼に対する疑いが強いために勘違いをしているのかもしれませんが、今私と別れたばかり（約１ヶ月ほど前）の彼は、すでに次の恋愛に踏み込もうとしているように感じます。別れた前日には他の女の子と２人で出かけていましたし、ＳＮＳで見かける友人とのやり取りにも若干怪しい内容が伺えます。
（ちなみに別れを切り出したのは彼からですが、理由は「価値観の違い」であり、「他に好きな人ができたわけではない」と言っていました。ただ、今の私からしてみれば自分が悪者にならないための言葉を発したようにしか聞こえません。）

つまり私の言葉が全て正しいわけではありませんが、私にとっては彼との始まりも終わりも綺麗なものとは考えにくいのです。
それなのに彼は異性に対して不誠実な態度を見せる人をけなす言葉を発します。彼も確実に不誠実なことをしたことがある人間であり、現状にも少なからずその部分があるので「人のこと言えないんじゃない？」と思ってしまいます。
根本的にルーズな人間であるならば人にもある程度寛容な態度を見せるような気がするのですが・・・。

彼が一体どのような気持ちで恋愛の正義を掲げていたのでしょうか。
私にもだいぶ非があることは承知しています。
様々なご回答よろしくおねがいします。