Se você instalou a partir do site Emacs, significa que você instalou pelas fontes, certo? Ao instalar a partir do código-fonte, geralmente as pessoas desinstalam executando:
sudo make uninstall
Para evitar esse tipo de problema no futuro, comece a usar o pacote CheckInstall , que controla todos os arquivos instalados por um "make install" ou equivalente, cria um pacote Debian com esses arquivos e o adiciona ao banco de dados de pacotes instalados, permitindo fácil remoção ou distribuição de pacotes.
Para remover o ícone do Dash, você pode seguir as instruções deste outro AskUbuntu pergunta:
% bl0ck_qu0te%