Законно ли мне не отдают паспорт и чужую домовую книгу (с которой я туда пришла) объясняя это тем что отдадут после оплаты штрафа.

Непонятно где не отдают. Конечно это незаконно. Но только сотрудники полиции или ФМС имеют право в определенных случаях задерживать или изымать паспорт