Добрый вечер! Только на том основании, что он построил дом, "отсудить" он у Вас землю не сможет. Возможно, есть какие-то иные основания? Порядок пользования Вы не определяли?
Не определяли порядок пользования.