Você pode superar essa limitação atualizando o sistema operacional host para uma versão de 64 bits.
[Atualizado, já que agora está claro que tanto o host quanto a VM têm o PEA ativado]
É você que hospeda o sistema operacional (Ubuntu de 32 bits) que gerencia a memória. Seu sistema operacional tem o PAE ativado, o que significa que ele (o sistema operacional host) pode endereçar até 36 bits de memória física. No entanto, os aplicativos ainda estão limitados ao espaço de endereço de 32 bits.
Você pode executar vários aplicativos e (por exemplo, dois programas usando 3½ GB de RAM) no host, mas não um único aplicativo que use mais de 4 GB.
Seu shell de caixa virtual é um aplicativo único.