A capacidade de instalar um pacote do Firefox, ou qualquer pacote realmente antigo, é totalmente dependente do que está disponível em seus repositórios e se você tem algum instalador em cache por aí.
O método que você está descrevendo está em conformidade com os requisitos da instrução anterior - você precisa ter um repositório com a versão especificada em seu conteúdo e na versão específica em que você está. Na maioria dos casos de software antigo, este não é o caso, então você tem que acabar fazendo downloads manuais de versões antigas de pacotes e instalar.
Como o Firefox 22 é suficientemente antigo para não existir mais nos repositórios de versões modernas, e pode até existir sem a capacidade de recuperá-lo dos servidores de repositório remoto, você pode ter que baixar manualmente o pacote do Firefox e instalar manualmente isso.
Para o Firefox 22, você pode usar os seguintes comandos. Observe que isso removerá completamente sua versão mais recente do Firefox e substituirá seu Firefox. Também é totalmente possível que apt-get e o gerenciador de atualização tentem atualizar a versão também e você precisará para verificar se o Firefox não está atualizado.
Para o Ubuntu de 64 bits:
sudo apt-get purge -y firefox
mkdir /home/$USER/firefox-old-binaries
cd /home/$USER/firefox-old-binaries
wget -O firefox_22.0+build2-0ubuntu0.12.04.2_amd64.deb https://launchpad.net/~ubuntu-mozilla-security/+archive/ubuntu/ppa/+build/4751637/+files/firefox_22.0%2Bbuild2-0ubuntu0.12.04.2_amd64.deb
sudo dpkg -i firefox_22.0+build2-0ubuntu0.12.04.2_amd64.deb
Para o Ubuntu de 32 bits:
sudo apt-get purge -y firefox
mkdir /home/$USER/firefox-old-binaries
cd /home/$USER/firefox-old-binaries
wget -O firefox_22.0+build2-0ubuntu0.12.04.2_i386.deb https://launchpad.net/~ubuntu-mozilla-security/+archive/ubuntu/ppa/+build/4751640/+files/firefox_22.0%2Bbuild2-0ubuntu0.12.04.2_i386.deb
sudo dpkg -i firefox_22.0+build2-0ubuntu0.12.04.2_i386.deb