consulte o seguinte: Não é possível configurar o PCI Passthrough para o adaptador de vídeo no VirtualBox
e também: link
Parece que seria possível se você fizesse o contrário, com o ubuntu como host, também há melhor suporte para passagem de vga em xen ou kvm (outro software de virtualização, google them) do que virtual box, embora virtual caixa parece apoiar o recurso em teoria, veja