Isso é MUITO. Você verificou quantas CPUs o explorer.exe usa quando nenhum explorador de arquivos está aberto (já que ele é responsável pela barra de tarefas, bem como pelo AFAIK)? Você poderia tentar instalar exploradores de terceiros como uma alternativa. Lifehacker tem uma recomendação útil, se você não sabe o que experimentar primeiro: link
Tente também matar o processo e ver quanta memória / CPU ele usa quando reiniciado.