Esperando que você use algum sabor linux (eu suponho que seja baseado no Debian) você poderia usar uma ferramenta como o checkinstall ( link ) que criará um pacote com todos os arquivos resultantes do procedimento de instalação. Dessa forma, você obtém uma lista de arquivos junto com o caminho deles. Agora você pode excluí-los manualmente, um por um, ou instalar o pacote criado, sobrescrevendo os arquivos existentes e, em seguida, removendo-os usando a opção de limpeza.