Eu não acho que você pode alterar a quantidade de memória dedicada, já que a memória dedicada é a memória física do próprio dispositivo, em algumas combinações de motherboard / GPU (principalmente dispositivos onboard, com pouca ou nenhuma memória dedicada) para alocar mais ou menos memória compartilhada para a GPU, uma opção para isso normalmente seria encontrada nas opções do driver (em configurações avançadas, acredito, corrija-me se estiver errado).