Acho que esse problema está relacionado à "questão do tema Qt" ( link ) e é causado pela uso de uma biblioteca interna do Qt 5.6.1, necessária pelo virtualBox 5.2.
O Ubuntu 16.04 possui o Qt 5.5.1, que vem com um tema personalizado, integrado ao ambiente Gtk / Unity, mas o VirtualBox 5.2 precisa do Qt 5.6.2 e, portanto, usa uma versão padrão integrada da biblioteca.
Eu acho que a biblioteca Qt integrada não só não tem o tema personalizado, mas também não funciona com o "menu global".
Portanto, a única solução que encontrei é ativar o menu padrão nas configurações da VM, na seção "Interface do usuário".