Как изменить условия общения с ребенком при гражданском браке и разрешение присутствия матери и бабушки

Здравствуйте! В 2012 году развелся с женой. После померились и жили в гражданском браке. Родился сын. Записан на меня как я отец. Моя фамилия. Мы не живем вместе сейчас. Видеться она разрешаеь но только при их присуствии что меня напрягает. Сыну 3.5 года. Живем в разных городах. 2 раза в месяц я еду к нему. На алименты не подавала. У нас заключен через натариус договор о добровольной помощи до совершеннолетия. Что мне делать чтоб он и со мной тоже жил или хотя бы гуляли без присуствия его матери и бабушка.