見合いの断り方

上司から見合い話がありました。
正直、何が何でも結婚したいというわけではなく、乗り気ではなかったのですが、上司からの話ということもあり、はっきりと断れませんでした。そこで、まず、こちらの写真を渡すことにして、相手が写真を見て断ってほしいと思っていました。（その方が楽だったので）
ところが、こちらの写真を渡した後、上司が相手の写真を持ってきました。
どういう理由で断ればよいでしょうか。タイプではないという理由以外でお願いします。