Consegui resolver isso fazendo ambos dos seguintes itens:
-
Exclua
%APPDATA%\Mozilla
e todas as subpastas e arquivos. -
Exclua
%LOCALAPPDATA%\Mozilla
e todas as subpastas e arquivos.
Fazer um sem o outro não foi suficiente para resolver o problema. Eu tive que fazer as duas coisas ao mesmo tempo.