Вам нужно подать ходатайство об отводе непосредственно судье, вот основания для этого.
Ст. 16 ГПК РФ
1. Мировой судья, а также судья не может рассматривать дело и подлежит отводу, если он:1) при предыдущем рассмотрении данного дела участвовал в нем в качестве прокурора, секретаря судебного заседания, представителя, свидетеля, эксперта, специалиста, переводчика;
2) является родственником или свойственником кого-либо из лиц, участвующих в деле, либо их представителей;
3) лично, прямо или косвенно заинтересован в исходе дела либо имеются иные обстоятельства, вызывающие сомнение в его объективности и беспристрастности.
2. В состав суда, рассматривающего дело, не могут входить лица, состоящие в родстве между собой.
3. Наличие информации о внепроцессуальном обращении, поступившем судье по гражданскому делу, находящемуся в его производстве, само по себе не может рассматриваться в качестве основания для отвода судьи.
(часть 3 введена Федеральным законом от 02.07.2013 N 166-ФЗ)
Если что-то из данного списка присутствует, то судья обязана удовлетворить ходатайство.
Можете заявить устно, а можете подать ходатайство в письменном варианте о отводе судьи, но вам необходимо будет это как то обосновать, так как отвод судьи рассматривает сам судья, который это дело ведет, это что касается отвода в ходе судебного разбирательства. Кроме того вы можете написать на имя председателя суда такое же заявление, обосновать и приложить если имеются какие либо доказательства относящиеся к этому вопросу.
Если не представите доказательств применительно к ст. 16 ГПК РФ, то отвод удовлетворен не будет, тем более, что он рассматривается этим же судьей. Если вам придется обжаловать решение судьи, вы сможете потом указать на эти обстоятельства.