O apt-get não pode detectar os aplicativos que você instalou a partir do código-fonte. Na verdade, todo arquivo de origem terá o script de desinstalação, mas infelizmente você removeu o arquivo de origem.
Você ainda pode fazer isso. No tipo de terminal como
locate emacs
listará todas as pegadas no sistema, depois removerá as pegadas do emacs usando o comando rm cuidadosamente.