Se você instalou a biblioteca mais recente compilando manualmente:
Vá para o diretório de criação e execute:
sudo make uninstall
Se isso não funcionar, execute:
sudo checkinstall
Em seguida, um pacote debian será gerado. Abra-o (no Centro de Software) e pressione Remover.
Se você instalou a biblioteca mais recente no APT / Software Center:
Execute isto para removê-lo:
sudo apt-get remove libsfml