A maneira como isso é tratado é com uma ferramenta de monitoramento que monitora os servidores a partir de um local centralizado.
Diferentes ferramentas de monitoramento funcionam de maneiras diferentes. Alguns deles usam agentes que devem ser instalados em todos os servidores. Alguns deles usam o SNMP. (Bem, isso tecnicamente também requer um agente, mas o SNMP é onipresente em quase todas as plataformas de servidor.) Eles geralmente utilizam protocolos e mecanismos de gerenciamento que são nativos da plataforma que estão monitorando para ajudá-los a coletar dados de desempenho e integridade. (Por exemplo, WMI para Windows.)
A ideia é que não importa como o software de monitoramento escolhe coletar os dados (e por "dados" quero dizer contadores de desempenho, estatísticas sobre o desempenho do computador), todos os dados são agregados de todos os diferentes servidores e armazenados em um repositório centralizado / banco de dados, e então haverá um aplicativo de "painel" ou "console de gerenciamento" que vem junto com aquele produto de software que permite que você visualize os dados em um tipo de "painel único" .
Essa é uma resposta super genérica, mas é tudo o que consegui criar sem transformar isso em um segmento de recomendação de produtos.