Meu entendimento é:
Quando você usa o VirtuaBox como um software de virtualização, basicamente está executando a VM guest na camada de virtualização (ou seja, VirtualBox), que é executada no Windows 32 bits. Então, indiretamente, quaisquer restrições que o sistema operacional host ponha no Virtualbox causará problemas de desempenho ao seu convidado. Uma dessas limitações é a memória.
No entanto, se você usou um software de virtualização barebone como o Hyper V ou o VmWare ESXi, a camada mais baixa é a camada de virtualização e, em seguida, vem o host seguido pelo convidado. Nesse caso, as limitações dos hosts não se aplicam ao convidado.
Portanto, minha sugestão é atualizar o host para x64 ou alternar para o Hyper V / VMWare ESXi ou o XenApp Server