A média de carga da CPU do Linux informa exatamente isso, confira este tutorial da web sobre as médias de carga. link
Uma boa maneira de controlar seus recursos (como níveis de CPU) em vários computadores é usando o SNMP (Simple Network Management Protocol), que fornece praticamente todas as estatísticas desejadas e é atualizado automaticamente.