Имею ли я право отказать ему в возврате?

Да, имеете право, так как "де юре" он не может подтвердить факт приобретения соответствующего предмета у соответствующего продавца.