Дом выступает за пределы границ земельного участка, которые не установлены. Как его (дом) зарегистрировать?

Дом вам зарегистрируют - нужен кадастровый паспорт на дом, свидетельство о праве собственности на участок. Если Росреестр откажет - обращайтесь в кадастровую палату что б уточнять границы участка с межеванием

Алгоритм получения желаемого результата будет варьироваться и от вида земель, и от состояния документов по земле и строений, расположенных на ней. В каждом конкретном случае объем необходимых действий.