Eu tive um problema semelhante com a minha instalação de convidado do Ubuntu 16.04, recebi este aviso:
Desative a aceleração 3D até obter o convidado instalado e ter também instalou as adições de convidado (no convidado). Então faça um completo desligue o convidado, ative a aceleração 3D e veja que isso ajuda.
Retirado da resposta que recebi ao postar meu problema aqui: Link para o tópico do fórum do Virtualbox
Talvez o seu problema tenha a ver com aceleração 3D também, tente desativá-lo?