Não sei ao certo onde o Firefox armazena seus dados fantásticos. Minha recomendação é usar o Revo Uninstaller para remover os dados do aplicativo E as entradas do registro. Eu acho o Revo muito minucioso.
Você pode querer fazer backup de seus favoritos ou senhas salvas antes de fazer isso. Caso contrário, tenho certeza de que isso funcionará. Uma vez feito, você obviamente instalará o mais recente e melhor Firefox. Boa sorte!