O diretório /usr/local não é usado pelo apt ou outros gerenciadores de pacotes do sistema. Esse diretório é para você, o administrador do sistema, usar para instalar pacotes sem risco de colidir com o gerenciador de pacotes do sistema. Você precisará removê-lo manualmente, por exemplo, sudo rm -r /usr/local/sphinxsearch , bem como outros arquivos que podem pertencer a ele ... se você quiser que ele desapareça completamente.
Você se lembra de como ele foi instalado? Se fosse da fonte (.e.g ./configure && make && make install ) você poderá usar make uninstall .
Ou, verifique se há um script install.sh . Isso lhe daria dicas para outros arquivos que podem ter sido instalados.