Acho melhor você descobrir por que o Firefox 21 não está funcionando para você. O problema pode não estar com o Firefox 21, mas com um perfil corrompido que afetará todas as versões do Ubuntu do Firefox.
Além disso, você pode carregar o Firefox 20 a partir do repositório de segurança lúcida:
sudo apt-add-repository 'deb http://us.archive.ubuntu.com/ubuntu/ lucid-security main'
sudo apt-get update
sudo apt-get install firefox/lucid-security
No meu sistema executando 12.04 (preciso), parte da saída resultante mostra:
dpkg: aviso: rebaixando o firefox de 21.0 + build2-0ubuntu0.12.04.3 para 20.0 + build1-0ubuntu0.10.04.3.
(Lendo banco de dados ... 332312 arquivos e diretórios atualmente instalados.)
Preparando-se para substituir o firefox 21.0 + build2-0ubuntu0.12.04.3 (usando ... / firefox_20.0 + build1-0ubuntu0.10.04.3_i386.deb) ...