A alocação de hardware, incluindo memória, são recursos atribuídos à máquina virtual. Esses recursos ficam disponíveis para a VM quando ela está ativa e voltam para o host quando a VM está inativa. A exceção para isso vem quando você alocou o espaço HDD fixo (em oposição a dinâmico). A menos que alguém saiba o contrário, usei o VMWare Player, Workstation e Virtualbox e essa alocação de recursos é padrão.
Em seu exemplo específico, uma alocação de memória de 4 GB contra um sistema Windows XP deve ser suficiente para executar a maioria dos jogos padrão no sistema operacional. Se, como você sugere, você está correndo de uma unidade USB, você verá um impacto no desempenho.
Você não mencionou se a execução é lenta, especificamente quando você executa jogos e quais opções gráficas estão sendo executadas. Você pode verificar o desempenho do seu sistema no gerenciador de tarefas se realmente quiser inspecionar isso mais profundamente.