Tente verificar o monitor de recursos no Windows. Você pode encontrá-lo digitando "Monitor de Recursos" na barra de pesquisa. Isso ajudará você a ver se um processo está acessando demais o disco rígido.
Se você usar o switch de 3GB, ele pode estar preenchendo 3 GB e começando a paginar a memória extra. A paginação ocorre quando você preencheu sua RAM e precisa armazenar dados adicionais na memória. Isso parece ser o culpado, já que leva tempo para que a queda no desempenho seja atingida.
Você sabe em qual disco seu arquivo de página está? Geralmente está localizado no disco do sistema (onde o Windows está instalado). Paginação excessiva definitivamente causaria um desempenho ruim nesse disco. Você pode verificar quanto está ocorrendo paginação usando o Gerenciador de recursos e o Gerenciador de tarefas (veja as informações da memória virtual).
Você tem uma queda no desempenho no disco verde depois de algumas horas de uso sem jogos? Se a queda de desempenho só ocorrer depois de jogar GW2 com o 3GB ligado, aposto meu almoço que a paginação que ocorre está martelando seu disco. Se você puder confirmar isso, recomendo adicionar mais memória ou, se isso não for possível, mova o arquivo de sua página para o disco rígido mais rápido.