Se você quer uma versão diferente da oferecida, então você deve apt-get remove Ubuntu do Firefox e instalar o Firefox ESR você mesmo, diretamente do mozilla , fora do gerenciador de pacotes. Ainda não existe um pacote deb para o Ubuntu Firefox ESR . Se o Ubuntu ainda te incomodar com as atualizações do Firefox, então você precisa apt-get remove mais coisas.
Para instalar apenas tar xjf do arquivo que você baixou, mv e ln -s conforme desejado (sugiro movê-lo para / opt / firefox24).
Você deve executar essa instalação do Firefox como root para obter atualizações. Essas atualizações virão diretamente do mozilla no canal ESR. Se você executar casualmente sudo firefox , o root irá escrever em sua pasta de perfil padrão, tornando-a inutilizável para o seu usuário regular até você chown / chmod-lo de volta. Portanto, crie um perfil separado para atualizações com o firefox -P.