Нет, не вправе. Требуйте письменный отказ, обжалуйте в суде.
Какой инфраструктурой? Возможен сервитут.