Как настоять на своем праве жить в квартире, построенной по льготному кредиту, с новым супругом, при угрозах со стороны бывшего мужа?

В первом браке мы с бывшем мужем (имеется ребенок) построили квартиру по льготному кредиту, я являюсь главным поручителем, а так же поручители мои родители. На данный момент он мне проживать в квартире не разрешает, у меня новый брак в котором родился еще один ребенок. Я со своими детьми прописана в этой квартире, но жить он не пускает. Я нахожусь в декретном отпуске и живу на съемной квартире. Кредит за построенную квартиру я выплачиваю вовремя ровно половину суммы. Вопрос в том: имею ли я право ехать жить в эту квартиру со своим нынешнем мужем? Бывший муж угрожает что вызовет миллицию, если мы там появимся.