Ситуация с одиночной матерью - отказ отцовства и угрозы суда

У меня к вам вопрос. У меня вот такая вот ситуация. Я мать одиночка, у меня есть сын ему 2 года. Отец отказался при рождении ребёнка записывать его на себя. Поэтому я записала ребёнка на себя, дала ему свою фамилию, отчество отцовское. Так вот, с мужем мы жили, но ничего хорошо не было, муж то работал то не работал, содержала мужа и ребенка я одна, муж пил, курил курительные смеси, водил домой ночью компании, тем самым мешал ребёнку спать. Он стоит на учете у нарколога, на работе нигде не числиться, дома условии для жития ребенка почти нет. В итоге я забрала ребёнка, и ушла от него. Теперь я ему не даю приезжать к ребёнку, и денег у него не прошу. Он грозит мне судом. Скажите, что он в этой ситуации может сделать? Он сможет выиграть суд? И как мне быть в этой ситуации.