彼に利用されているだけな気がしてきました

先日、彼からのお願いごとを断りました。
私に負担や責任がかかることなので、
普段なら引き受けますが、今現在かなりストレスが溜まっている状態で、承諾できませんでした。
それを聞くと彼がイライラしはじめたので、
なんだかうまく利用できなかったから苛立ってるのかな…と悲しく感じました。
今まで何回か険悪な雰囲気になったこともありますが、私が我慢してきたことが多いです。
ですが、今回のことで目が覚めた気がします。
個人的には、こちらが辛いときにも配慮してくれる人こそ、私を大事に考えてくれていると判断しています。
それとも、単に私が精神的に参ってるから自己中心的に考えてしまっているだけでしょうか。
みなさんの考えや助言をいただきたいです。