Но так как нет свидетелей меня заставляют пройти полиграф, могу я от него отказаться и какие дальнейшие будут последствия.

Можете отказаться, в этом случае у следствия (если это уголовное дело) будут сомнения в правдивости ваших показаний. Стороной защиты будет заявлено ходатайство о проведении данной экспертизы в отношении вас и обвиняемого, вы откажетесь, он пройдет и если результат будет на его стороне, дело могут прекратить.