Если при вступлении в наследство я откажусь в пользу брата, то я теряю все права?

Не понятно о каких правах идет речь, но отказ означает что от наследства Вы отказались и не сможете больше на него претендовать. Согласно ГК РФ Статья 1157.

3. Отказ от наследства не может быть впоследствии изменен или взят обратно.