Спор о действительности сделки продажи квартиры - как защитить свои права в суде?

Уважаемы, Александр Александрович! Если по условиям мирового соглашения Ваш отец отказался от иска о признании за ним права собственности на долю в квартире и определение об утверждении мирового соглашения вступило в законную силу, то ему просто откажут в удовлетворении исковых требований. Но, очень сложно консультировать не видя определения об утверждении мирового соглашения. Поэтому, Вам все таки лучше было бы показать документ адвокату, либо процитировать его на сайте.

а на каких условиях был отказ от иска в чем заключалось мировое соглашение по разделу имущества

Александр Александрович, если по условиям мирового соглашения о разделе совместно нажитого имущества, право собственности на квартиру признавалось за вашей матерью, то претендовать на нее сейчас он не вправе.

Мировое соглашение утверждается определением суда, смотрите его условия и ссылайтесь на него в случае возникновения спора.