O uso da CPU é calculado pelo programa / agendador de tarefas do sistema operacional. De fato, se um uso da CPU é de 10%, isso indica que a tarefa está sendo executada ativamente por 10% dos períodos de unidade do planejador de tarefas; outros programas podem ser executados nos 90% restantes do tempo da CPU, ou o SO simplesmente ficará inativo. Da mesma forma, se o uso da CPU de total para todos programas for de 10%, isso indica que nenhum programa no sistema está sendo executado 90% do tempo.
Como nenhum programa é executado no "bare metal" em um sistema operacional multitarefa (como Windows ou Linux), o uso da CPU é uma medida da porcentagem que os ciclos da CPU dedicam à execução desse programa específico. É por isso que se você tem um loop infinito em um programa, mesmo que nenhum "trabalho" esteja sendo feito, o uso da CPU ainda se aproxima de 100% (como o programa está tentando usar cada período de programação oferecido pelo sistema operacional para executar algum código).
Embora os processos estejam sempre em execução, eles não usam 100% da CPU na maioria dos casos, pois um processo pode esperar que um determinado evento / interrupção ocorra ou tenha indicado para o sistema operacional suspender / dormir sua operação por um curto período de tempo.