Logstash perdendo gradualmente soquetes

Question

Usando o logstash 1.4.2, passando para uma instância de pesquisa elástica 1.1.1 em um servidor separado. Puxando itens de log do AWS SQS. Tudo funciona bem nas primeiras horas, mais ou menos, mas depois o seguinte começa a aparecer no log logstash.

:message=>"Error reading SQS queue.", :error=>#<OpenSSL::SSL::SSLError: Socket closed>

Assim que o primeiro desses erros aparecer, a taxa na qual o logstash esvazia a fila diminui. Eventualmente, ele pára completamente quando mais erros aparecem. O logstash de hospedagem do processo java continua a operar sem problemas.

O consumo da CPU fica em torno de 30% em uma instância m3.xlarge, de modo que parece ter potência suficiente.

Isso soa como um bug, ou há algo que eu preciso fazer para evitar a perda de soquete ou fazer o logstash reabri-los?

    

Answer 1

Existem esses erros que podem estar relacionados ao seu problema:

Error establishing SSL connections: OpenSSL::SSL::SSLError: Socket closed

I have been intermittently seeing "SSLError: Socket closed" upon connect, trying to establish an SSL socket connection. Hard to tell whether it was just my connection or not. Then I noticed that it happens without fail upon accept when running WEBrick in https mode--except from Safari. I mean, Webrick starts up okay, but when I navigate to https://localhost:3000 in my browser (though, strangely, Safari works fine), it fails with the following backtrace...

See more: https://jira.codehaus.org/browse/JRUBY-6346

Isto é o mais específico:

SSL errors using tcp ssl input

I've configured tcp with ssl input on logstash. I 'm using nxlog to forward logs to logstash. I've configured tcp input on several ports. Everything works,I can get logs, but in log file I see errors like following...

See more: https://logstash.jira.com/browse/LOGSTASH-1095

No logstash, o problema ainda está aberto.

Espero que isso ajude.