Você menciona não usar o Nagios na descrição do seu problema, mas este parece ser o tipo de coisa que normalmente seria usado pelo Nagios, escrevendo os testes personalizados que você precisa como plugins para o agente Nagios e agregando os resultados usando o console do Nagios, como usando os plugins embutidos para ping, etc. O tempo seria gasto mais em aprender como usar o framework Nagios, a codificação real para as partes customizadas que você precisa deve ser muito simples.