A resposta muito curta e simples: você não pode paralelizar tudo e praticamente todos os outros componentes do PC são mais lentos que a CPU. Portanto, 100% da carga é algo que você não deve alcançar fora de condições ou tarefas especiais (por exemplo, compilação ou codificação). Também muitos programas ainda são single threaded em relação às suas principais partes de seu código.
Vamos supor que um encadeamento solicite algum conteúdo de arquivo e a leitura demore 0,5 segundo por qualquer motivo. Isso significa que, neste segundo, o núcleo que está executando esse segmento não poderá ultrapassar 50% de utilização. Ao mesmo tempo, isso também não significa necessariamente que a unidade está operando com 100% de carga.