É porque se o Ubuntu não pode usar placa gráfica para aceleração (provavelmente é o que acontece no Virtualbox), ele usa CPU para renderizar gráficos através do LLVMpipe. Isso faz com que pareça muito lento.
No Ubuntu 12.04 e anterior, o Unity2D era usado se a aceleração de hardware de hardware não pudesse ser usada, mas em 12.10 e 13.04 o Unity2D é descartado em favor do LLVMpipe.
Alguns ambientes de desktop que não precisam de composição (como o XFCE) ainda são rápidos, mesmo sem aceleração de gráficos. É por isso que poucos derivados do Ubuntu, como o Edubuntu, o Xubuntu, o Lubuntu, etc., ainda são rápidos no Virtualbox.
Mas se você instalar o Virtualbox Additions, a aceleração 3D estará disponível para o Ubuntu dentro de uma máquina virtual e será executada na velocidade normal.