Como indica a fossfreedom em um comentário, é melhor instalar primeiro o Virtualox Guest Additions. Veja esta pergunta para fazer isso: Como faço para instalar adições de convidado em um VirtualBox VM? .
Depois disso, se você ainda tiver o seu problema, tente alterar a resolução do Ubuntu dentro do Ubuntu:
- Vá para o menu Dash (o grande botão do Ubuntu no canto superior esquerdo).
- Em seguida, digite "Resolution" ou "Displays" para ver o aplicativo "Displays".
- Inicie clicando sobre ele.
- Você deve então poder aumentar a resolução.