Sim, você pode.
Na linha de comando:
sudo apt-get remove --purge packagename
Isso removerá todos os arquivos restantes que o pacote instalou.
Você também pode fazer isso a partir de uma GUI:
- Instale o Synaptic do Centro de Software
- Executar o Synaptic
- Encontre os pacotes listados em "Não instalado (configuração residual)"
- Clique com o botão direito no pacote e clique, marque para remoção completa
- Clique no botão de verificação na barra de ferramentas e clique em aplicar quando o diálogo aparecer.