Entre no diretório em que o arquivo de origem estava e digite make uninstall , se isso não funcionar, então não haverá instruções para a desinstalação. Nesse caso, você terá que fazer isso manualmente, o que pode ser feito refazendo o make install e observando o que ele instala, para que você possa removê-los. Caso contrário, se você souber o diretório em que seu programa está instalado, poderá removê-lo. Algo que você deve sempre fazer ao instalar a partir da fonte é usar checkinstall
O que o checkinstall faz?
It makes the installation and thus uninstallation much easier by using your systems package management system. It will be able to automatically generate an RPM or YUM package that can be uninstalled later by calling for example
yum uninstall httpd