Как защитить свои права в случае незаконного использования земли соседом?

Живем в доме на 2 хозяина. С соседями жили душа в душу. 3 года назад в наше отсутстие он подлил фундамент к своему дому, используя землю нашего огорода, (примерно 40 смХ 25 м). Когда приехали, предъявили претензию, он давя на далость, мол дом старый, пол дырявый, дети из больниц не вылазят... уступили, хотя просили компенсировать материально или землей с другой стороны, но действий не произошло. Смалоодушничали, не стали в суд подавать. А в этом году он снес старый дом и построил полноценный дом. Теперь заказал межевание. Неужели мы можем лишиться своей земли? Как нам поступить.