Нужно ли отступать от межи при огораживании огорода сеткой рабицей?

Здравствуйте, хотим огородить огород сеткой рабицей, поставили столбы по меже, сделано межевание, ижс, но сосед против забора и сказали что мы должны отступить от межи, прав ли он? Если да то на какое расстояние должны мы перенести столбы? И почему мы должны терять часть участка