Normalmente você pode usar apenas:
sudo make uninstall
desde que o aplicativo foi instalado como root.
Mas isso funcionará somente se o desenvolvedor do pacote tiver se encarregado de criar uma boa regra de desinstalação.
Você também pode tentar dar uma olhada nas etapas usadas para instalar o software executando:
make -n install
E tente inverter essas etapas manualmente.
No futuro, para evitar esse tipo de problemas, tente usar o checkinstall em vez de make install sempre que possível (AFAIK sempre, a menos que você queira manter a versão compilada e a empacotada ao mesmo tempo). Ele irá criar e instalar um arquivo deb que você pode desinstalar usando seu gerenciador de pacotes favorito.
make clean normalmente limpa os diretórios de construção, não desinstala o pacote. É usado quando você quer ter certeza de que a coisa toda é compilada, não apenas os arquivos alterados.
[Fonte: Se eu criar um pacote a partir do código-fonte, como posso desinstalar ou remover completamente?