Sim, você gostaria de desinstalar o emacs antes de instalá-lo a partir do código-fonte.
sudo apt-get remove emacs
Isso deve fazer o truque.
Se eles não fornecerem um script de desinstalação (geralmente feito quando você faz uma instalação do make / make) na pasta de origem, você está completamente sem sorte para desinstalá-lo, a menos que consiga descobrir o que ele instalou e onde .
Eu olhei e não consegui encontrar um repositório atual do emacs, o que torna a instalação / desinstalação muito mais segura. Em geral, não instale fora de repos (ou no mínimo .debs), a menos que seja algo que você realmente precise, só porque pode ser tão confuso.