Primeiramente, certifique-se de ter instalado o VirtualBox Guest Additions para o sistema operacional convidado. Em seguida, para aumentar a memória de vídeo do hóspede, selecione o convidado no Gerenciador de Virtualbox e, em seguida, selecione a configuração de exibição na lista de menu (clique em exibição de palavra no painel do lado direito). Então você pode ajustar a memória de exibição. Tenho que dizer que normalmente deixo a memória de exibição no tamanho padrão e parece funcionar bem para mim, então isso pode não ser a causa do seu problema.
Existe um manual muito bom aqui: link