Uma máquina desligada ainda pode escutar pacotes WOL (wake-on-LAN). Para esse fim, eu olharia para os switches se houvesse links a 10Mb sem endereço IP atrás da porta.
Para o resto, você sempre pode usar o nmap para "inventariar" sua rede, talvez você encontre alguns IPs de ILO que levam a máquinas desligadas.
Se as VMs também estiverem preocupadas, mas sem algum console de gerenciamento central como o Vcenter ou algo semelhante, você poderá analisar o armazenamento e tentar associar os discos virtuais às VMs. Normalmente você pode de alguma forma dizer a partir dos arquivos presentes no armazenamento, se a VM está ligada ou não.