Não necessariamente. Depende do tipo de vírus. Se o vírus for um trojan, anexado a um executável ou algo semelhante, a formatação apagará o vírus. No entanto, a formatação não irá se livrar de um vírus de baixo nível. Se é de baixo nível como firmware ou um vírus de registro de inicialização (supondo que você não apagou o registro mestre de inicialização).
Existem muitos tipos de vírus e, dependendo de como você foi infectado, mesmo que tenha sido eliminado por formatação, eles podem voltar imediatamente. Talvez seu vírus tenha sido um vírus de macro em um documento. Quando você restaurar seus documentos e abri-lo, o vírus retornará. Talvez o vírus estivesse em um anexo de e-mail, abrindo esse e-mail novamente pode reinfectá-lo. Ou talvez o vírus faça parte de um programa que você baixa e usa. Existem inúmeras formas de infecção.
Ter um scanner de vírus - ou dois - pronto já é uma boa ideia.