Estou executando o Linux Mint 18.1 Cinnamon 64-bit (Cinnamon versão 3.2.7) no VirtualBox 5.1.22 r115126 (Qt5.6.2) com o Guest Additions 5.1.22 r115126.
Alocado para a VM:
O I / O APIC, o PAE / NX, o VT-x / AMD-V e o Nested Merging estão todos ativados. A aceleração 3D e 2D estão desativadas.
O host é um Windows 10 com 12 GB de memória e uma placa gráfica Nvidia GTX960m, mas o VirtualBox usa seu próprio adaptador gráfico por algum motivo.
Embora a versão correta do Guest Additions esteja instalada, a VM é inicializada no modo de renderização de software. Se eu ativar a aceleração 3D antes da inicialização, essa mensagem de erro não será exibida, mas a VM desorganizará e travará com um erro de memória ao usar programas como o Chromium ou o Atom. Quando no modo de renderização de software, a VM se torna insuportavelmente lenta e usa 100% de CPU.
Se alguém está tropeçando nisso, eu encontrei algumas informações para a minha pergunta.
Parece ser um problema contínuo com o VirtualBox quando o 3D Acceleration está habilitado. Para mim, Atom sempre acionou o travamento no Linux Mint e procurar por esse problema com Atom me levou a descer um buraco de coelho mais profundo. Aqui estão mais algumas fontes sobre o bug.
Parece que a solução é desativar o 3D Acceleration no VirtualBox ou fazer downgrade do Guest Additions para a versão 5.0.16.