Может ли сосед требовать доступ к своему дому через мой участок в моё отсутствие?

У нас с соседом общая долевая собственность на земельный участок по 1/2. Дома у каждого свой по 100%. Его дом двумя стенам выходит ко мне во двор. Сейчас сосед затеял ремонт своего дома со стороны моей ограды. Требует обеспечить доступ, в то время когда я нахожусь на работе. Вправе ли я отказать?