Как выписать брата, претендующего на мое жилье, в котором он был прописан, но не проживал?

Собственник дома я, в доме прописаны: я, муж, моя мать и брат. Брат в течении 19 лет жил с женой, в её доме, но прописан был у нас. Детей у него нет, а у меня трое. Сейчас он претендует на жилье. Как его выписать?