Você pode resolver este problema clicando com o botão direito do mouse no item de menu VirtualBox e selecionando a opção "Executar com nvidia graphics". Não sei exatamente o que é chamado na versão em inglês do Windows porque estou usando um idioma diferente.
Eu também tenho o Optimus e tive o mesmo problema quando o corri com os gráficos da Intel. Parece ser um problema com a tecnologia Optimus, afinal.