Коллекторы вообще ничего лишить вас не могут. У них нет таких полномочий. Обратить взыскание на квартиру может только суд и то при условии, что квартира находится в ипотеке и долг возник по ипотеке.