Como você não mencionou a versão do VirtualBox nem a versão do sistema que estava instalando, vou descrever a solução que encontrei para a máquina convidada VB v4.1.12 e Ubuntu 12.04 LTS.
Esta versão do sistema operacional foi instalada com o X Server a partir do quantal (12.10) e exibida a mensagem de erro sobre o modo de baixa representação gráfica. Quando você remover essa janela de erro usando Esc e efetuar login usando o console, tente desinstalar o atual X Server da quantal da máquina convidada:
sudo apt-get purge xserver-xorg-core-lts-quantal
sudo apt-get autoremove
Assim que isso for feito, o núcleo do X Server padrão será instalado automaticamente. Se isso não acontecer, tente instalá-lo manualmente (incluindo todas as suas dependências):
sudo apt-get install xserver-xorg-core
Após a reinicialização, o sistema operacional convidado deve funcionar corretamente.