Do site do virtualbox :
O VirtualBox oferece suporte a sistemas operacionais convidados de 64 bits, mesmo em sistemas operacionais host de 32 bits, desde que as seguintes condições sejam atendidas:
- Você precisa de um processador de 64 bits com suporte para virtualização de hardware
- Você deve habilitar a virtualização de hardware para a VM específica para a qual você deseja suporte a 64 bits; a virtualização de software não é suportada para VMs de 64 bits.
Portanto, para a caixa virtual você precisa de uma CPU de 64 bits (quase todos os processadores x86 da última década são 64 bits) e um com suporte à virtualização (Isso é mais raro. Normalmente isso significa um CPU i7 ou AMD)
Como alternativa, você pode tentar o qemu e fazer com que emule 64 bits, mas seria extremamente lento .
O contrário (Server 2012 como SO e XP em uma VM) funcionaria bem.