Право бывшего супруга на посещение ребенка без согласования времени - нужно ли судебное решение?

При разводе ребенок 3 лет остался со мной, порядок посещений ребенка бывшим супругом особым образом не оговаривался. Сейчас он настаивает, что имеет право приходить к ребенку и уходить когда ему вздумается, а мое мнение не важно. При этом один на один сам не делает оставаться, требует моего постоянного присутствия. Такой порядок может мешать режиму дня (возбужденный от встречи прямо перед дневным сном ребенок не может уснуть, потом плохо спит ночью от переутомления), и попросту не удобен мне для планирования как своих личных, так и совместных с ребенком дел. В конце концов, мне неудобно, что он в любое время приходит ко мне домой. Обязан ли бывший муж согласовать со мной время визитов к ребенку? На какие положения законов можно сослаться в этом случае? Или внесение хоть какой-то конкретности в порядок посещения возможно только через суд?