A execução de make uninstall pode funcionar. Cabe aos autores da biblioteca fornecer isso. A maioria das bibliotecas geralmente tem uma.
Caso contrário, você terá que desinstalá-lo manualmente. A execução de make -n install mostrará as etapas que o software executará para se instalar. Você pode tentar reverter manualmente essas etapas.
PS: No futuro, para evitar esse tipo de problema, tente usar checkinstall em vez de make install sempre que possível. Ele criará e instalará um arquivo .deb que você poderá desinstalar usando seu gerenciador de pacotes favorito.