O problema está na própria distribuição do VirtualBox, que agora não possui os módulos necessários.
Se você deu uma olhada no módulo VBoxHeadless.cpp , você veria que para isso funcionar, as seguintes condições devem ser atendidas:
- VBOX_FFMPEG deve ser definido
- A biblioteca compartilhada VBoxFFmpegFB deve estar disponível com o ponto de entrada VBoxRegisterFFmpegFB
No tópico VBoxHeadless "Falha ao carregar a extensão de captura de vídeo" de 2009 , alguém chamado xantus tentou criar as condições necessárias modificando as fontes de acordo, mas isso não funcionou.
Sugiro que a maneira correta de lidar com isso é abordar os desenvolvedores nos fóruns do VirtualBox e convencê-los a obtê-lo trabalhando novamente, embora esta opção pareça ter sido abandonada desde pelo menos 2009.