Можно ли отказаться от покупки ветхого жилого дома с использованием материнского капитала?

Приобрели жилой дом под материнский капитал, но дом оказался ветхим - можем мы отказаться от сделки? Деньги продавцу еще пенсионный фонд не перевел.