Как защитить свои права и проживать с детьми без согласия гражданского мужа - запрос юридического совета

У меня трое детей прописаны у гражданского мужа (в двухкомнатной квартире), двое из них собственники одной комнаты а во второй комнате собственник муж. При первой возможности если ему что то не нравиться он начинает меня выгонять из квартиры... Я бы конечно уехала, что бы его проучить, но у меня самому младшему только 6 месяцев и без меня он никак не сможет. И к себе нехочеться его брать т.к мой брат не совсем здоров. Подскажите пожалуйста по закону могу ли я без его согласия проживать с детьми? Помогите приструнить мужа. Очень благодарна за ответ.