Posso executar uma pesquisa de sites como o Lucene em um único servidor de 2 GB que também é um servidor web e mysql?

Question

As páginas do meu site ultrapassaram o limite de páginas da Pesquisa personalizada do Google, portanto, muitos dos resultados não são encontrados em nossa pesquisa no site.

Eu tenho lido sobre Lucene, Nutch, Solr, etc e eu estou querendo saber se eu teria os requisitos para executá-los em um único servidor que também executa o site (no nginx) e nosso servidor mysql. Nós temos 2 GB de RAM.

Gostaria de receber sugestões para migrar para uma nova pesquisa de sites.

    

Answer 1

Quantas páginas você deve ter excedido o limite de uma Pesquisa personalizada do Google (apenas pensando)?

Eu recomendo usar Esfinge , Lucene estava bem até alguns milhares de itens sendo indexados, mas além disso era inutilizável, as buscas eram insuportavelmente lentas e reconstruir o índice levaria horas.

Temos o Sphinx sendo executado em um Rackspace Cloud Server com 1 GB de RAM juntamente com o restante dos serviços necessários para executar o site (Apache, PHP, MySQL, Memcached, etc.) e ele tem um ótimo desempenho.

O site em que o Sphinx está sendo executado atualmente tem > 70.000 artigos, as pesquisas são concluídas muito rapidamente e podem reconstruir todo o índice em ~ 11 segundos. Eu escolhi o Sphinx com base em recomendações de outros desenvolvedores e o conhecimento de que alguns grandes sites confiam nele para seus mecanismos de busca ( Neowin sendo um deles).