Нужно было дождаться разрешения. Вы конечно можете попробовать оспорить отказ в суде, но нужно учитывать в связи с чем отказ, возможно разрешенное использование не позволяют или красные линии до ближайшего строения. Вообщем надо понимать реально или нет.