Вопрос по выписке сына из наследованной квартиры - Что делать, если он не согласен?

Я являюсь собственником квартиры, доставшейся мне по наследству от умершего отца. На определённом этапе я прописал в неё своего сына (на тот момент несовершеннолетнего с целью перспективы обеспечения его будущего-женитьбы). Сын в квартире не проживал ещё ни дня. Я тоже: живу в своей квартире и сын со мной. Все расходы по наследованной квартире (квартплата, мелкий ремонт, сборы ТСЖ на общедомовые нужды) нёс и несу я. Сын, к сожалению, создавать семью не планирует, но желает из-за не совсем приязненных отношений перебраться по месту прописки. Мы с женой считаем, что он ещё не готов морально вести хозяйство, тем более не имея серьёзных намерений по строительству семейной жизни. Однако он настаивает на том, что имеет право жить по месту прописки. Чтобы убрать эту составляющую, мы считаем надо аннулировать эту прописку, дабы не искушать неокрепшего. В связи с этим вопрос: имею ли я право выписать его из этой квартиры без его согласия?