Se você ainda tem o diretório fonte original compilado em algum lugar, você pode usar sudo make uninstall
em cada diretório que (em teoria) deve remover todos os arquivos instalados.
Note que eu digo em teoria porque não é garantido que o Makefile tenha provisão adequada para "desinstalar" desta maneira. Geralmente, a recomendação é usar os pacotes enviados com a distribuição, a menos que você esteja totalmente ciente do que está fazendo e tenha uma estratégia para lidar com upgrades & desinstalar aplicativos instalados dessa maneira.