Eu tenho vários sistemas e serviços que enviam alertas por e-mail quando algum tipo de evento ocorre. Isso funciona bem para um pequeno número de sistemas, mas à medida que o número de alertas cresce, a mensagem importante fica menos visível entre os avisos informativos. A filtragem de e-mails só pode ser eficaz até certo ponto.
Que tipo de solução posso usar no lugar de e-mails que me permitirão enviar alertas arbitrários de vários serviços e que serão dimensionados com facilidade à medida que o número de serviços aumentar?
Suponho que você tenha considerado Nagios ou Icinga ?
Que tal usar o Amazon SNS ? Tudo o que os seus scripts precisariam fazer é falar da SNS API (a Amazon tem exemplos em vários idiomas, e as notificações podem ser enviadas de várias formas diferentes (email, SMS, HTTP, etc.). Também torna fácil para as pessoas cancelarem / assinarem as várias notificações.
O tipo de solução que você está descrevendo é chamado de SIEM (Security Incident and Event Manangement). Splunk.com é um popular SIEM.
Use pingdom para receber emails / smss. você pode definir, por exemplo, que ele irá testar seus serviços a cada minuto e, de acordo com o resultado dos scripts do 'sistema de teste' que você escrever, o enviará por e-mail ou sms de acordo com a gravidade.