Obtenha os arquivos de origem novamente (mesma versão), descompacte e tente
make uninstall
Isso deve remover todos os arquivos que foram instalados pela sua
anteriormake install
Em geral, você precisa executar ações simétricas ao instalar e remover pacotes de software. O apt-get só pode remover pacotes que também foram instalados com ele. não sabe nada sobre a sua instalação manual do emacs.