Certifique-se de que o .vdi não esteja fragmentado no seu sistema host e que a memória não seja pequena demais para o Ubuntu rodar (512MB pelo menos, 1GB + swap se você quiser usar o Firefox ou o libre office).
Certifique-se também de que o sistema operacional host tenha memória física física suficiente para executar a máquina virtual. Você pode encontrar o número usando o Gerenciador de Tarefas ou ferramentas semelhantes. Você deve deixar pelo menos 400MB de memória física "livre" depois que a máquina virtual for carregada para permitir que o sistema manipule o uso de memória local de outros aplicativos.