Espere, você diz "Estou usando o servidor como um Xen HVM (DomU)".
Você quer dizer que esse domínio é dom0 (a instância principal)?
Se sim, então sim, sua memória dom0 diminui quando você inicia domínios domU.
Use xentop
para ver quanta memória realmente está lá e para quem ela está alocada.
Para alterar a alocação, use o comando:
xm mem-set <domainid> <memorysize>