Não. Não é possível fornecer um acesso à VM do VirtualBox para a placa de vídeo host, apenas a interface virtual que você vê nela. Na verdade, isso vale também para a maioria dos hardwares, incluindo placas de rede. A principal exceção a isso são alguns dispositivos USB e controladores de armazenamento que podem ser revelados à VM se o sistema operacional host não os estiver usando por meio de um driver de ponte especial.
Usar uma distro do Linux em uma VM deve lhe dar uma ideia de se você gosta ou não do software, mas não é um bom teste para saber se ele se relaciona bem com o seu hardware.
Em vez disso, você deve usar um LiveCD ou uma versão USB inicializável para iniciá-lo com acesso total ao seu hardware. Isso permitirá que você teste todas as coisas que deseja fazer, sem sobrescrever ou particionar novamente seu disco rígido até achar que ele funcionará.
Como nota final, a maioria das distribuições Linux compartilha relativemente a mesma base de drivers e compatibilidade de hardware. Quão bem eles combinam tudo isso varia, e algumas vezes uma distro terá soluções para certas máquinas que não entraram nos projetos upstream, mas é bem seguro dizer que se a placa de vídeo e a tela funcionarem em uma distro Linux, é provável que funcione em outra distro da mesma época.