Если имел место именно задаток, а не авансовый платеж и соглашение о задатке имело письменную форму, то Вы имеете право не отдавать задаток.
Если задаток оформлен в письменной форме, то имеете право.