Como você instalou? De sua pergunta eu assumo da fonte.
Se você tiver sorte, simplesmente
sudo make uninstall
Mas se isso não funcionar, você precisará excluir manualmente os arquivos instalados.
Um problema potencial seria se você instalasse a partir do código-fonte, você pode ter mais bibliotecas do sistema escritas e, portanto, precisaria reinstalá-las também.
No futuro eu aconselho você tentar fazer um .deb, com checkinstall