Tentando importar ~ 400m de documentos para o Elasticsearch do couchdb usando o plugin couchdb river. Tudo começa bem com o tempo de indexação em torno de 5k / s, mas depois de algumas horas voltam e encontram o chão em torno de 20 / s. Temos o sistema em uma caixa grande, um x1.xlarge, e tudo o que ele faz é o Elasticsearch. Temos 20 fragmentos sem replicação para ajudar na indexação e desativar a atualização de índice. Heap está configurado para usar 65% da memória e estamos usando o Java 7 mais recente da Oracle.
Qual configuração eu preciso ajustar para ajudar na importação inicial de dados? Eu tenho jogado com timeouts bluk / tamanho, mas ainda não consigo encontrar o ponto ideal.
Qualquer ajuda seria ótima. Zuhaib