Na configuração da VM, vá para a seção "Exibir", na guia "Vídeo", verifique se "Ativar aceleração 3D" está marcada.
Depois de instalar o Ubuntu dentro da VM e iniciá-lo pela primeira vez, instale os 3 pacotes que começam com virtualbox-ose-guest-
dentro da VM, depois reinicie o Ubuntu dentro da VM. (BTW: você não quer o pacote chamado virtualbox-guest-additions
.)
Se eu fizer isso, posso executar o Compiz sem problemas (o Unity não funciona!).