Depende realmente do Makefile fornecido. Tente executar make uninstall . Se você tiver sorte, isso pode funcionar. Caso contrário, você recebe algo como:
make: *** No rule to make target 'uninstall'. Stop.
Nesse caso, você pode tentar executar make clean , mas isso provavelmente excluirá os arquivos apenas do diretório de origem.
Você pode querer ler mais sobre make e estudar o Makefile correspondente para ver opções disponíveis.