Se o makefile estiver escrito corretamente, você poderá fazer o cd de volta no diretório em que você executou ./configure e make e, desta vez, executar make uninstall
Você também deve procurar instalar o checkinstall para usar nessas situações - ele permitirá que você construa a partir do código-fonte, mas tenha os pacotes rastreados pelo apt.
sudo apt-get install checkinstall e, em seguida, man checkinstall