Após uma semana de luta, não consegui descobrir a causa exata do problema, mas parece que está no lado do VirtualBox. Enquanto isso, a VMware resolve minha dor de cabeça: não apenas o OpenGL acelerado por hardware funciona bem, mas a capacidade de resposta geral parece melhorar. Espero que isso ajude os outros a terem o mesmo problema.