Проблемы с выполнением договора на ремонт квартиры - нарушение условий, задержка работ и спор о выплате неустойки

Проконсультируйте пожалуйста. Я, как частное лицо заключил договор с частным лицом на оказание услуг ремонта квартиры. Мы работаем бригадой из 4 человек. Заказчик нарушил условия договора не предоставив проектную документацию и не снабжал материалами вовремя по заявкам в результате чего работы начали затягиваться и за 2 месяца работ накопилось порядка 2 недель простоя. В договоре указано что если Заказчик нарушает договор, не снабжает нормально материалами и т д то мы вправе требовать неустойки за простои. Договор расторгнули, когда я заикнулся заказчику о том что нужно оплатить неустойки то он с этим конечно же не согласился и сказал что мы ведем предпринимательскую деятельность не законно и в суд мы не подадим. Как нам быть?