Как вернуть залог за аренду квартиры после отказа через агентство?

Решили снять в аренду квартиру через агенство. Посмотрели её, согласились заехать через 2 недели, оставили залог 5000 руб. (собственник написал расписку: "Я ФИО принял аванс за квартиру по адресу такому то, дата, расшифровка, подпись), договор не составляли. И на этом разошлись до следующей встречи. Через полчаса по приезду домой, поняли что погорячились, 4 этаж, лифт не работает, это общежитие, вонь и соседи алкоголики, а я в положении и мне ну совсем не хочется жить в таких условиях. Сразу (в течении часа после встречи) позвонили агенту с отказом, чтобы вернули денежку, согласились. Вот только в течении недели агент нас игнорирует и отказывается возвращать, обосновывая это тем, что задаток не возвращается и не от него зависит. Контактов хозяев квартиры у нас нет. Как нам можно решить вопрос с возвратом денег, ведь по сути объявление об аренде даже не снималось с публикации, мы в течении часа отказались, не составляя договора. От чего отталкиваться, на что указывать при возврате денег?! Помогите! Очень обидно...