Если сын совершеннолетний, то он сам вправе решать общаться Вами или нет.
можете обратиться в суд с иском об установлении порядка общения с внуками