Por algum motivo, os pacotes de idiomas são pacotes separados que não são desinstalados se você desinstalar o Firefox. No entanto, você pode desinstalar com segurança o pacote de idiomas.
Apenas faça sudo apt-get remove firefox-locale-[your version]
.
Se remover isso acontecer, removerá outros pacotes que dependem do pacote de idiomas, isso será indicado e você poderá cancelar a remoção. Mas tenho certeza que não vai.