Primeiro, você deve baixar o tarball de origem do Emacs 24.4:
cd ~
mkdir emacs-src && cd emacs-src
wget http://mirror.team-cymru.org/gnu/emacs/emacs-24.4.tar.gz
tar xvf emacs-24.4.tar.gz
Agora, você quer compilar o binário Emacs.
sudo apt-get install build-essential
sudo apt-get build-dep emacs24
cd emacs-24.4
./configure
make
sudo make install
Se o sistema reclamar de quaisquer dependências, basta instalá-las manualmente.
Fontes: (Manual do Ubuntu) e @ comment de namingFailed.
Se você quer ser gentil com a comunidade, você sempre pode manter seu próprio PPA com o Emacs 24.4 nele. Essa é outra questão, no entanto. Eu poderia trazer um dos meus até mais tarde ...