Правомерны ли требования охранников магазина об оплате похищенного товара в несколько раз превышающей его стоимость?

Это является уголовным преступлением, а точнее превышение должностных полномочий.

УК РФ, Статья 286. Превышение должностных полномочий

1. Совершение должностным лицом действий, явно выходящих за пределы его полномочий и повлекших существенное нарушение прав и законных интересов граждан или организаций либо охраняемых законом интересов общества или государства, -

наказывается штрафом в размере до восьмидесяти тысяч рублей или в размере заработной платы или иного дохода осужденного за период до шести месяцев, либо лишением права занимать определенные должности или заниматься определенной деятельностью на срок до пяти лет, либо принудительными работами на срок до четырех лет, либо арестом на срок от четырех до шести месяцев, либо лишением свободы на срок до четырех лет.

(в ред. Федеральных законов от 08.12.2003 N 162-ФЗ, от 07.12.2011 N 420-ФЗ)

(см. текст в предыдущей редакции)

В действиях сотрудников магазина состава преступления не усматривается. Но вы можете поступить так, что у них ничего не будет получаться. Если суммы ущерба хватает на ст. 158 УК РФ (кражу) то это дело публичного обвинения. А значит вы сами можете сообщить в полицию о данном преступлении написав заявление. Такое уголовное дело подлежит возбуждению, несмотря на желание работников магазина.

Можно попробовать усмотреть в действия работников магазина вымогательство (ст. 163 УК РФ) но не думаю что это будет иметь какую либо перспективу.