É possível ver o detalhamento por processo adicionando uma coluna Bytes do sistema GPU à lista de processos principais do Process Explorer.
EDIT Observe a aba Add Bytes do Sistema GPU na imagem abaixo.
Estou tentando descobrir qual aplicativo no meu sistema é responsável pelos picos de memória (observe que os picos são vistos na guia GPU).
Aqui está uma questão que gerou essa.
EDIT Para mostrar gráficos de Informação do Sistema no Process Explorer, tente clicar em qualquer um dos gráficos no topo da janela principal do ProcessExplorer.
Eu arriscaria um palpite de que o OP está executando uma placa de vídeo dupla em uma configuração não SLI / Crossfire e que esses picos são seus aplicativos acelerados por GPU (Chrome, Firefox, IE9-IE10) fazendo algo.
Se o acima for verdadeiro e você estiver recebendo o Aero "desativado" ou "Aero desativado", suas opções são usar o CrossFire, não navegar / executar vídeos (ou qualquer outro aplicativo acelerado que você esteja usando ) nesses monitores, ou desabilite a aceleração gpu.
Caso contrário, ignore-a como alguém afirmou.
(Eu gostaria de comentar, mas aparentemente não tenho posts / rep suficientes para fazer isso).