微妙な関係

私には、友達以上、恋人未満の人がいます。お互い、好き同士なのに、付き合ってないんです。
私は、付き合いたいって、思うのに、彼には、"遠距離で、会えないし、今付き合ったら、浮気するかもだから、大学行ったら付き合おう"って、言われました。
確かに、出会いは、ネットで出会ったので、なんにも言えないんですが…
最近、彼の言う言葉が、矛盾してきて…
"浮気しやんといてな"
"あんまり、男子と関わらんといて"
など、言われました。
付き合ってないのに、浮気とかって、成り立つものなんですか…？
まだまだ、たくさん、彼のことについて、悩んでるので、お話きいてくださったり、アドバイス等をお願いします…