Если соблюдены санитарные нормы - стройте.
Если расстояния соблюдены и разрешенное пользование землей позволяет подобное строительство, то мнение соседи могут оставить себе
Вам не обязательно в этом случае их разрешение