Как юридически оформить возврат части огорода от соседа в ситуации с проживанием отца в частном доме?

Помогите, пожалуйста разрешить следующую ситуацию. Отец проживает в частном доме, дом состоит из основной части и пристройки (по договору 4/5 землевладения принадлежит отцу, а 1/5-соседу, но огородную часть по устному согласию отца поделили пополам). Можно ли вернуть часть огорода обратно и как (юридически это оформить), т.к сосед хочет построить отдельный домик на своей половине?