Uma recomendação é monitorar uma métrica que sempre deve ter um valor numérico, como uso da CPU, e acionar um alarme quando o estado da métrica for 'dados insuficientes' que você pode usar o SNS da Amazon para notificá-lo sobre isso.
Alternativamente, você pode configurar métricas customizadas que retornam um estado binário para serviços específicos (httpd, mysql, etc) e gerar um alerta a qualquer momento que qualquer um deles ler 0. Essa abordagem oferece a possibilidade de detalhes muito mais finos - combiná-lo com 'dados insuficientes' para cobrir todos os casos.
Você pode ter mais sucesso usando algo que realmente monitore seu site (por exemplo, Pingdom, UptimeRobot etc.).