彼にイライラする

彼にイライラします。

彼氏と今度出かけようと言っていて、会う日を決めていたのですが、彼氏からごめんその日はバイトだったと言われ、会う約束がなくなりました。
次に、私と会う約束を先にしていたにも関わらず、家族と出かけることになったと言って、会う約束をことわられました。

私は彼のために予定空けておいたのに、その日が無駄になることにイライラします。しかも私との予定が先に入っていたのに、家族優先っておかしくないですか？

「ごめんね」、と彼から連絡がきたので素っ気なく、「いってらっしゃい」と返したら、「怒らないで(*_*)」と連絡がきました。
彼は本気で謝ってませんよね？本気にイライラします。

付き合って4ヶ月でこんな感じなので、少し距離を置くべきですか？
距離を置くとしたら、どうしたらよいでしょうか？