Se você tiver o Synaptic instalado, simplesmente digite o campo de busca Firefox e marque-o para remoção completa (esta ação incluirá a remoção de seus arquivos ocultos e arquivos de tradução, se instalados).
Em seguida, abra o Softwarecenter e digite o Firefox clicando para a instalação, esta ação lhe dará o mais recente Firefox (19 neste momento) instalado.
Para eventuais traduções do FF reabra o Synaptic e procure por firefox-locale-xx (xx é a língua de sua escolha). Use isso somente quando a tradução for necessária.
O Synaptic é um programa muito útil, portanto, se você não tiver, primeiro instale-o através do Softwarecenter.
Sucesso!