Você pode fazer isso, ou seja, o antigo XenServer possuía um Linux de 32 bits como dom0 e podia executar 32 e 64 bits de VM (como era amplamente usado na produção, presumo que tenha sido uma abordagem correta). Apenas uma coisa que o hypervisor tem que fazer extra é a tradução de 32 instruções para 64 bits. Mas o que 32 bits afetam é apenas a memória do sistema, não os drivers de dispositivo, portanto você ainda pode usar os drivers de dispositivo virtio (para-virtualizados).
Mais informações (lembre-se de que dom0 é apenas uma VM!): link