Esta funcionalidade ainda não é suportada no Virtualbox.
Seu único software de virtualização alternativo que suporta isso que eu conheço são Qemu e Xen e possivelmente VMWare . A maioria dos contos de sucesso de passar pelas GPUs para as máquinas virtuais vem do Qemu ou do Xen, então eu sugiro que você gire em direção a isso até que o Virtualbox suporte isso.
Existe um blog dedicado ao assunto (esse é o tutorial de 2015 sobre como fazer isso com o qemu como foco) que você pode querer examinar.
Lembre-se de que o VGA Passthrough ainda é uma tecnologia muito experimental e requer combinações de Motherboard / CPU que suportam recursos muito específicos e, geralmente, também requer uma configuração de kernel personalizada para acessar esses recursos no Linux (para ser capaz de usá-los na máquina virtual).
Por isso, tente não comprometer demais. É muito provável que você encontre bugs ou problemas que podem tornar seu sistema físico ou virtual instável ou, de alguma maneira, inoperável durante o uso de VGA Passthrough. Não espere que funcione completamente, nem com facilidade. Você precisa de sorte para que isso realmente aconteça.