Позвонили по телефону с полиции и пригласили к себе причину не объяснили, имею ли я право не пойти.

вообще ничего не сказали? кто, зачем, почему? если вы ничего не совершали, можете не ходить, или для успокоения сходить и уточнить

вы обязаны идти только в случае повестке следователя по уголовному делу

эти беседы "по душам" до добра не доводят. требуйте повестку.