O BIOS ficará bem, mas a configuração será perdida e reverterá para os padrões do BIOS.
Se a bateria ainda estiver boa o suficiente, entre na BIOS e copie as configurações antes de puxá-la para substituição.
Se (como você diz) a bateria já está esgotada, dependendo da solução de persistência da BIOS usada pela placa-mãe, as configurações provavelmente já desapareceram (de volta ao padrão); então apenas troque a bateria e configure o BIOS ao seu gosto. :)