Which performance counters matter the most, when judging server load?
Quase todos eles, mas você provavelmente deve começar com CPU%, conjuntos de trabalho particulares e IOPS.
is it a performance concern if one leaves such data-collectors running indefinitely?
Sim, principalmente I / O, memória, cpu, espaço em disco. Principalmente nessa ordem.
I will not know when the server will experience slow performance, so I need the logs there so that I can check them out
Agora você está chegando a algum lugar. Você precisa fazer um breve análise de causa raiz .
Antes de fazer isso, é onde uma réplica de sua produção (seu ambiente de teste) deve ser marcada, torturada, morta e depois post-mortem'ed, para que você nunca tenha que experimentar isso na produção .
O desempenho pode significar um bazillion de coisas diferentes. Você define a barra para o desempenho ruim ou bom e isso depende dos seus serviços e dos seus SLAs. A MS tem um documento muito bom sobre contadores de desempenho
Se você não sabe o que está causando problemas de desempenho, comece isolando seus serviços e depurando-os um por um. Você está executando um servidor da web? Verifique sua CPU primeiro. Você está executando um banco de dados, verifique sua IOPS e assim por diante.
Obviously, I will not know when the server will experience slow performance, so I need the logs there so that I can check them out
Geralmente você precisa ter pelo menos o seguinte trio: Monitoramento, alerta e agregação de registros.
Os contadores de desempenho fazem um excelente trabalho, mas só oferecem o segundo. É por isso que você precisa de alguns alertas (por exemplo, Nagios) com algum monitoramento constante (por exemplo, cacti, munin).