Você nunca deve usar o 9.04, pois é antigo e tem falhas de segurança. Além disso, sendo antigo, o Virtualbox nos repositórios não foi atualizado, então ele também está cheio de bugs. 12.04 fará bem em executar o Virtualbox com um convidado.
Você pode optar por usar o Unity 2D se tiver baixo desempenho gráfico no host, clicando no círculo quando for solicitada sua senha no login e selecionando Unity 2D.
Se ainda for muito lento, você pode usar o 10.04, pois ele tem um pouco menos de uso de RAM enquanto está mais atualizado, ou você pode instalar um ambiente de trabalho alternativo . O Lubuntu parece usar menos RAM, e se você estiver usando esse caminho, não há necessidade de usar o 10.04 e você pode usar o 12.04 sem preocupação com o desempenho.
Com isso dito, você ainda terá problemas de não ter RAM suficiente (pelo menos 1 GB é recomendado, mas você pode se contentar com 768 MB), independentemente da versão usada.