Parece que a única maneira infalível de testar isso é criar uma associação IPsec entre seu servidor Nagios e cada Windows Server e executar alguma verificação arbitrária que só pode ser bem-sucedida se a associação IPsec estiver íntegra.
Talvez todas das verificações do host do Nagios devam exigir que o túnel IPsec esteja ativo?