Você pode simplesmente remover os pacotes de idiomas:
sudo apt-get purge firefox-locale-*
Este não toca no pacote firefox
do núcleo.
Eu acabei de testar, o Firefox lança perfeitamente bem depois de remover todos os pacotes de idiomas. Tem uma interface de usuário em inglês pré-instalada. Eu acho que é a localidade da África do Sul, mas não tenho certeza disso - é pelo menos um pouco de inglês.