Eu tive exatamente o mesmo problema, exceto que eu executo o VirtualBox 4.3.12r93733 em um host do Windows 7, não o OSX.
Depois de tentar muitas coisas diferentes sem sucesso, dei uma olhada no relatório de bugs do VirtualBox vinculado que dizia "corrigido como de 27 de maio de 2014 no VirtualBox 4.3.xe versões posteriores ".
O último último comentário (a partir de hoje) tem um link para uma imagem de CD recente para as adições de convidados do VirtualBox .
Depois de instalar isso no meu convidado 14.04, a linha de comando
/usr/lib/nux/unity_support_test -p
finalmente informa
Unity 3D supported: yes
e todas as animações de janela do Unity são suaves como manteiga.
Atualização 2014-07-20:
De acordo com os últimos comentários sobre esta resposta, não há mais necessidade de baixar a imagem do CD, pois ela finalmente se tornou parte do distribuição oficial do VirtualBox . Portanto, se você atualizar, receberá as adições de convidado fixas.
Se você está preso a uma versão do VirtualBox sem as adições de convidado fixas, você pode obter as imagens de CD do repositório de download do VirtualBox - apenas encontre a pasta da versão correta e obtenha o arquivo VBoxGuestAdditions _ * .iso dentro dela.