O VirtualBox não irá expor a GPU hospedeira diretamente a um convidado, a menos que você use passagem PCI . Você poderia tentar isso, mas ainda é experimental e pode não funcionar.
Seria muito mais fácil usar o host Linux diretamente, em vez de tentar fazer isso em uma VM. Se você realmente precisar de um contêiner por algum motivo, tente o LXC (veja a resposta para Usando a GPU de um contêiner docker ).