Нужно ли оформлять страховку на российский автомобиль в России если езжу только по Беларуси.

Нет, не нужно. Страховой полис ОСАГО требуется только в случае, если машина эксплуатируется на территории РФ.