Em casos como este, você precisa ir além do gerenciador de tarefas e observar o% de uso da CPU. Isso não diz se algo está afetando negativamente o desempenho. Para um caso como esse, a próxima etapa seria usar o Monitor de Desempenho para exibir Comprimento da Fila do Sistema \ Processador . Isso informa se os processos estão aguardando a CPU ficar inativa, possivelmente afetando o desempenho. Isso é semelhante ao que você vê no topo ou carrega comandos no Unix.
Este artigo tem uma boa descrição das métricas de desempenho a serem observadas ao solucionar esses problemas. Foi originalmente para o NT4, mas ainda se aplica a versões mais recentes.
Aqui está um artigo mais recente da equipe de desempenho do Windows falando sobre como solucionar problemas de desempenho com a CPU.