Normalmente você pode usar apenas:
make uninstall
ou
sudo make uninstall
se o aplicativo foi instalado como root.
Mas isso funcionará somente se o desenvolvedor do pacote tiver se encarregado de criar uma boa regra de desinstalação.
Você também pode tentar dar uma olhada nas etapas usadas para instalar o software executando:
make -n install
E tente inverter essas etapas manualmente.
No futuro, para evitar esse tipo de problema, tente usar checkinstall
em vez de make install
sempre que possível ( AFAIK sempre, a menos que você queira manter ambas as versões compilada e empacotada ao mesmo tempo). Ele irá criar e instalar um arquivo deb que você pode desinstalar usando seu gerenciador de pacotes favorito.
make clean
normalmente limpa os diretórios de construção, não desinstala o pacote. É usado quando você quer ter certeza de que a coisa toda é compilada, não apenas os arquivos alterados.