Отказ в сносе дома и объединении земельных участков в Гусь-Хрустальном - как узаконить строительство дома без разрешения?

Мы купили часть жилого дома 16/81 метров с земельным участком 164 м и часть жилого дома 16/81 с земельным участком 176 м нам досталось по наследству во Владимирской области г. Гусь-Хрустальный. Подали документы в Администрацию города на снос ветхого дома и реконструкцию на этом месте нового дома с небольшим увеличением площади застройки. Администрация нам отказала в сносе и в выдаче градостроительного плана указав причину что для строительства установлена минимальная норма земельного участка 4 сотки и для того чтобы они выдали град. План необходимо объединить все 3 земельных участка (с учетом соседа). Мы готовы объединить свои 2 участка путем межевания, но это только 340 метров, сосед конечно не готов объединить со своим с целью получения единого кадастрового номера. Правомерен ли отказ? Возможно ли построить дом без разрешения на строительство? Если мы все же построим дом без разрешения на строительство возможно ли его будет узаконить и каким образом? Подскажите, пожалуйста, что делать в данной ситуации.