Eu também encontrei esse problema e trabalhei em torno dele de uma maneira um pouco diferente do Vijay. Estou executando o VirtualBox v4.2.18 em um host Windows 7 de 64 bits e estou tentando instalar o Ubuntu Desktop 12.04.3 (32 bits) em uma nova máquina virtual.
Depois que o Ubuntu supostamente termina a instalação e me pede para reiniciar, eu clico para reiniciar e minha máquina virtual congela. Neste ponto, volto para a janela principal chamada "Oracle VM VirtualBox Manager", clique com o botão direito do mouse na máquina virtual que está congelada, escolha Fechar > Desligue e clique em OK quando eu chegar ao aviso do VirtualBox sobre a perda de dados não salvos. Neste ponto, a máquina virtual está desligada.
Em seguida, inicio a máquina virtual e inicializo novamente a partir da mídia de instalação. Quando sou solicitado a experimentar o Ubuntu ou instalar o Ubuntu, eu escolho o Try Ubuntu. Depois disso, a máquina virtual é carregada na versão de teste do Ubuntu. Quando isso acontecer, clico no ícone de energia na parte superior direita da barra de navegação superior no Ubuntu (na janela da máquina virtual) e selecione Desligar. Durante o processo de desligamento, a máquina solicita que eu remova a mídia de instalação, feche a bandeja e pressione Enter. Eu instalei a partir de um ISO, então eu apertei Enter, e a máquina virtual completamente desligada.
Da próxima vez que eu iniciar a máquina virtual, ela será inicializada no Ubuntu inteiro como eu esperava, e eu posso continuar e fazer outras coisas.