Что произойдет с флигелем во дворе дома на двух хозяев, который попал на чужую территорию?

Дом на двух хозяев. Во дворе стоит флигель, в котором жила моя мама. Флигель строил мой отец еще до моего рождения. Скоро будет год, как мама умерла. Еще при ее жизни с соседом сделали межевание и этот флигель попал полностью на его сторону. Он захотел использовать его (флигель) как хозпостройку. (пока не использует, пока я не освобожу от мебели) Я не против. В чем, собственно, вопрос? Если он, вдруг передумает, он сможет меня заставить снести флигель за мой счет? Он не в собственности и на его стороне. Я им не пользуюсь. Спасибо.