Так дети и так с Вами проживают. Автоматически их матери никто не передаст. Можете обратиться в суд с иском об определении места жительства с Вами.