Секретарю можно заявить отвод, но в предусмотренных законом случаях.Вероятно Вам следует, приходить на судебные заседания с диктофоном и записывать все речи сторон, поскольку у Вас такие проблемы с секретарем, который видимо не успевает все записывать или не хочет этого делать.