За отпуск, отгуленный авансом, удержать имеют право. Что не подписывают обходной, таки и пусть. Действующим законодательством он не регулируется. Не во всех организациях есть этот пережиток советских времен.
Трудовую книжку Вам обязаны выдать в последний день работыв. Если Вам отказывают в выдаче трудовой книжки по причине не подписания обходного листа, в последний день работы отрабатываете и спокойно уходите. Дальше головная боль работодателя будет, как Вам ее отдать. За невыдачу трудовой книжки работодатель несет материальную ответственность (помимо административной) за незаконное лишение работника возможности трудиться. Вы вправе обратиться в суд с взыскание данного ущерба, с компенсацией морального вреда.
Подавайте иск в суд. Не забывайте про срок - в течении 3 месяцев со дня увольнения.
Либо жалоба в прокуратуру, в гос.инспекцию труда.