Eu tinha algo parecido, mas fiquei frustrado com falsos positivos (qualquer um dos serviços gratuitos de e-mail será decente sobre a entrega de e-mails, mas houve atrasos ocasionais com o Gmail). Acabei dividindo isso em dois monitores: um para enviar um e-mail para o meu servidor via SMTP e depois verificar a caixa de correio via IMAP para garantir que chegou (que cobre a entrada) e o outro apenas vigia a fila de e-mails e alerta se acima x mensagens. Supondo que seu servidor seja carregado 24x7, a fila de saída será preenchida se a entrega não estiver funcionando.