Atribuir estatisticamente uma grande quantidade de RAM somente à GPU, mesmo que você não precise dessa quantidade de memória da GPU, impediria que outros aplicativos a usassem.
Você pode ver a quantidade de uso de memória da GPU em ProcessExplorer ou ProcessHacker sob a guia GPU na janela de informações do sistema. Quando você abre ferramentas que usam muitos dados gráficos, o uso cresce.
Se você ainda "errar" a RAM, dê uma olhada em RAMMap que mostra muitos detalhes sobre como o Windows usa a RAM física.