Здравствуйте. Можете отказаться
Если забор Ваш, т.е. принадлежит Вам на праве собственности, то администрация не имеет права требовать сноса забора. Даже, если администрация найдет какие-то основания для сноса забора, то должна требовать этого в судебном порядке.