Sim, você pode executar um convidado de 64 bits em um host de 32 bits usando o VirtualBox.
Além disso, testei o desempenho de um sistema convidado de 64 bits em hosts de 64 bits e 32 bits e para minhas cargas específicas lá não há diferença significativa.
Claro, o convidado de 64 bits em um host de 64 bits se sente um pouco mais rápido, mas de acordo com minhas medições, é cerca de 5% de diferença.
Apenas certifique-se de ter memória suficiente no host (4GB total será reportado como 3,5 GB para um 32Bit XP).