Usando o .iso fornecido no repositório do Ubuntu ( link ) resolvido esta questão para mim no VirtualBox 5.2.8. No Windows, basta baixar e extrair o .iso usando 7zip ou similar.
Instalei o Ubuntu 18.04 no VirtualBox e, em seguida, ative a aceleração 3D e, quando tento iniciá-lo, ele mostra e permanece assim:
Funcionou bem com o Ubuntu 16.04 e 17.10, mas não funciona com o 18.04. Eu tenho o Windows 10, Nvidia GPU, o mais recente Virtualbox e drivers. Estou usando o GNOME com o Xorg.
Verifique a versão do VirtualBox que você está executando. A atualização para a versão mais recente (5.2.10) do VirtualBox, bem como o pacote de adições de comentários, resolveu o problema para mim.
veja também link
... or to choose Gnome Classic from the login cog. That works too.
Worth reading: https://www.virtualbox.org/wiki/X11Guest3D