A placa de vídeo virtualizada fornecida pelo VirtualBox não tem nenhum tipo de capacidade de computação da GPU, ou mesmo qualquer aceleração 3D. É essencialmente um simples framebuffer VESA.
Existem duas opções para aceleração de cálculos por GPU. Você pode executar o programa diretamente (não virtualizado) ou usar um emulador que ofereça suporte a passagem PCI para placas de vídeo (o último também pode exigir que a CPU e a placa-mãe suportem a virtualização PCI).