Os pacotes de origem que usam autotools - ./configure; make; make install - normalmente também têm um make uninstall de destino. No entanto, esse destino não existe até que você execute ./configure (porque na verdade não há makefile), portanto, se você receber o erro:
make: *** No rule to make target 'uninstall'. Stop.
Esse é provavelmente o problema. Isso pode ser confirmado tentando apenas make ; se você obtiver make: *** No targets specified and no makefile found. Stop. , não haverá makefile porque ./configure não foi executado com sucesso.
Se você estiver usando uma extração recente do pacote de origem para fazer a desinstalação, provavelmente não será extremamente importante se suas opções para ./configure não forem exatamente as mesmas da compilação original (com exceção dos diretórios de destino, que obviamente deve ser o mesmo), mas seria bom tentar e chegar perto se você puder se lembrar deles.
I also think that installing the program using checkinstall and then uninstalling it using synaptic or apt-get or any package manager would be suitable, right?
Eu não usei checkinstall , mas certamente parece uma boa ideia e parece ser explicitamente útil em desinstalar as coisas, se você usou em primeiro lugar. Tanto quanto eu posso dizer, é apenas atual para distribuições derivadas do Debian (como o Ubuntu).