Não tenho certeza do que você espera alcançar ativando gráficos acelerados por hardware para a VM quando você não otimizou a máquina host.
Qual hardware gráfico o host está executando? É realmente até o trabalho? Se, por exemplo, é um chipset embarcado da Intel, não há sentido em tentar, já que o hardware não tem o poder de fazê-lo.
ATUALIZAÇÃO: OK, então o cartão não é ruim para um cartão de laptop & o laptop está ok, i5, 6GB de RAM.
Portanto, instale os drivers NVIDIA no host e verifique se a VM tem RAM e RAM de vídeo suficientes atribuídas antes de tentar novamente. Contanto que nada mais esteja sendo executado no host, você deve ser capaz de atribuir 4 GB à VM e dar ao Display 256 MB.Existe um cálculo para a RAM gráfica mínima da VM no arquivo de ajuda do VirtualBox, que depende do tamanho da tela, entre outras coisas.
Você também pode jogar com algumas das outras configurações se o acima não funcionar. Tente alterar o Chipset para ICH9. Você também pode tentar o I / O APIC, embora isso exigiria uma reinstalação do sistema operacional convidado.