Xapian Omega é incrível. E é executado na maioria dos sistemas operacionais.
Xapian is a highly adaptable toolkit which allows developers to easily add advanced indexing and search facilities to their own applications. It supports the Probabilistic Information Retrieval model and also supports a rich set of boolean query operators.
Em seguida, combine isso com o Omega, novamente uma citação do site
Omega operates on a set of databases. Each database is created and updated separately using either omindex or scriptindex. You can search these databases (or any other Xapian database with suitable contents) via a web front-end provided by omega, a CGI application. A search can also be done over more than one database at once.
É fácil de instalar e funcionar e é muito rápido, mesmo em grandes coleções de arquivos. Usamos para indexar um diretório de upload de sites e compartilhamentos de samba de ~ 350GB.