64 bits é mais lento e ocupa mais memória do que 32 bits.
Endereços de 64 bits com mais de 4 GB de RAM mais rápido que 32 bits podem endereçá-lo (e mais facilmente). Programas individuais podem endereçar mais RAM nativamente em um sistema de 64 bits. Como você já sabe, não é possível executar um convidado de 64 bits em um sistema de 32 bits.
Atualizado para seu comentário abaixo:
Minha resposta acima foi dar uma resposta 'vs' porque você tinha uma pergunta 'vs'. Mas não se esqueça que o 32bit está limitado a 4GB de RAM. Isso é bom quando você tem menos de 4 GB (os dispositivos de bios e de memória mapeados contam com o espaço de endereço de 4 GB).
Mas quando você tem mais de 4 GB de RAM, um sistema de 32 bits precisa recorrer a truques de 'paginação' para endereçar a RAM extra. Seu sistema subjacente tem mais de 4GB de RAM, então normalmente ele vai mais rápido por causa disso.
64 bits são mais lentos (e maiores) que 32 bits porque todos os ponteiros são maiores, ocupam o dobro do espaço na memória dos ponteiros 32 bits menores e, portanto, mais rápidos.
Mas compensando a lentidão quando você endereça toda a RAM via paging, você provavelmente acha que 64bit é mais rápido para esse caso.
O 32bit apenas rege no espaço de 4GB ou menos da RAM, independentemente de se tratar de um programa ou sistema operacional.
Não atualize seus convidados, a menos que você tenha uma vantagem clara ou uma necessidade de 64 bits em seus convidados.
Eu vejo por meio de votos negativos que mais pessoas discordam do que concordam com minhas declarações acima. Por acaso, eu estava em um site pesquisando um tópico não relacionado (Certificação Linux CC e ITSEC) e notei este parágrafo interessante sobre o assunto:
Going back years we have run 32-bit vs. 64-bit Linux benchmarks. While
the results seldom change, we keep running them as the question of
choosing between a 32-bit and 64-bit Linux distribution image is still
a popular question… These tests drive in a surprising amount of
traffic and I continue to be flabbergasted by the number of people
still asking this question when nearly all modern x86 Intel/AMD
hardware fully supports x86_64 and it generally means much better
performance. Usually the only caveat in not using a 64-bit Linux
image is if running a system with less than 2GB of RAM.
(italics added - see original article)
Parece que eu não sou o único a fazer um trabalho real no mundo real, achando que 64bit não é sempre a resposta.