Para hosts que você conhece, o Nagios / Zenoss / OpenNMS é sua melhor aposta - eles podem ser configurados para notificar quando os hosts e / ou serviços forem desativados ou voltarem a funcionar. Eles são na maioria inteligentes o suficiente para não começar a alertar sobre TODOS os serviços em um host se o host em si também estiver desligado; é importante configurar esses tipos de coisas corretamente, para que você não seja inundado com 20 alertas devido a uma reinicialização do servidor. Se houver muita informação sobre coisas triviais, mais cedo ou mais tarde você acabará ignorando-a e deixando de perceber algo importante.
Para a segunda metade da sua pergunta, Catherine está certa; você está olhando para um sistema de detecção de intrusão (IDS). Eles podem ser configurados para saber como sua rede deve se parecer em termos de hosts, topologia, tipos de tráfego e assim por diante, e alertá-lo se algo diferente do que você definiu como "normal" acontecer. Alguns exemplos seriam Snort e OSSEC .