Backups noturnos (e talvez outras tarefas) que causam alertas do servidor

Question

Eu tenho dois sistemas de notificação de alerta independentes para meus servidores. O servidor é uma máquina virtual no Linode e um dos alertas vem do Linode. O outro sistema de monitoramento que usamos é o New Relic. Ambos estão atentos à utilização do IO.

Toda noite recebo alertas de ambos, pois o servidor está usando muito IO. Eu corro algumas tarefas no meio da noite, mas a que eu confirmei que pode causar avisos de E / S está executando os backups. O backup é feito por s3cmd sync. Eu tentei ionice mas ainda gera os avisos.

Receber avisos toda noite reduz a eficácia de avisos quando eles acontecem de verdade. Para o Linode, eu poderia elevar o nível no qual um aviso é emitido, mas isso pode significar tornar a coisa toda inútil, já que o nível é muito alto.

Qual seria a solução adequada para isso?

    

Answer 1

Primeiro, faça a si mesmo a importante pergunta: "Esse alerta vai me dizer alguma coisa útil?"
A carga de trabalho do seu servidor é tão limitada a E / S e um alerta de E / S poderia avisá-lo de um problema antes que um realmente aconteça? Existem outros indicadores melhores que você pode monitorar (diga o tempo de resposta em solicitações HTTP para o servidor?)

Se o alerta não for útil, desative-o.
Como você apontou corretamente, "alertas de ruído" reduzem a eficácia do sistema de monitoramento, então se este alerta é apenas ruído desligue-o e termine com isso.

Se o alerta é realmente útil em seu ambiente, mas não é útil durante determinados períodos de tempo, você precisa verificar seus sistemas de monitoramento e ver se é possível desativar alertas durante períodos específicos (a maioria pode - não tenho certeza sobre o Linode ou New Relic, mas sua documentação ou equipe de suporte técnico certamente pode ajudá-lo).

Se o seu sistema de monitoramento não puder suspender os alertas durante períodos específicos, você poderá realizar o mesmo com as regras procmail (ou semelhante filtragem). Isso exige que você envie a mensagem para uma caixa de correio filtrada, mas pode encaminhá-la para pagers, telefones celulares etc., conforme necessário. (Se você usar uma solução de filtragem de e-mail como essa, certifique-se de documentar para que o próximo administrador saiba por que não recebe alertas durante essa janela! ser um problema real, e perder o alerta pode ser uma Coisa Ruim.)