Você provavelmente vai querer configurar o Nagios ou o fork mais recente Icinga . O Nagios é uma solução de monitoramento que pode ser executada localmente ou em máquinas remotas (se você gerencia várias máquinas em uma rede). Você configura quais serviços monitorar e o limite para ser notificado. Há até mesmo maneiras de ter procedimentos de fallback no lugar - por exemplo: se um serviço falhar, você pode fazer com que o Nagios tente reiniciá-lo X vezes antes de finalmente notificá-lo.
Não tenho certeza se o Icinga ainda está no repositório, mas o Nagios já faz isso há algum tempo.