Обратиться в суд с заявлением о лишении отца родительстких прав. Если основания для лишения имеются, то суд удовлетворит заявление и лишит его прав. Основания для лишения перечислены в ст. 69 Семейного Кодекса, но из текста вашего вопроса пока не усматриваются. Обратитесь на консультацию к юристу, вам скажут о перспективности такого заявления в вашем случае.
Лишение родительских прав это крайняя мера и суд что бы принять такое решение должен получить доказательства и свидетельства тому, что:
уклоняются от выполнения обязанностей родителей, в том числе при злостном уклонении от уплаты алиментов;
отказываются без уважительных причин взять своего ребенка из родильного дома (отделения) либо из иной медицинской организации, образовательной организации, организации социального обслуживания или из аналогичных организаций;
злоупотребляют своими родительскими правами;
жестоко обращаются с детьми, в том числе осуществляют физическое или психическое насилие над ними, покушаются на их половую неприкосновенность;
являются больными хроническим алкоголизмом или наркоманией;
совершили умышленное преступление против жизни или здоровья своих детей, другого родителя детей, супруга, в том числе не являющегося родителем детей, либо против жизни или здоровья иного члена семьи.
Хотя бы несколько причин из перечисленного списка.