Se xm info reportar toda a RAM, você deverá ser capaz de atribuí-la aos seus domus sem problemas. Eu normalmente defino a configuração dom0_mem na linha de inicialização do grub.conf para limitar a RAM que o dom0 pode utilizar e salvar o restante para o domU. Eu juntei isso com a configuração de dom0-min-mem para 0 em xend-config.sxp para evitar que o balão fosse maior.
Não sei se há um limite de 32 GB para o dom0, mas não tive um sistema com muita RAM para poder testá-lo também. O Xen requer uma compilação do kernel baseada em PAE, portanto, deve ser capaz de endereçar a RAM.