A primeira coisa a verificar é: - Você é host virtual na rede de bridge (provavelmente xenbr0) ou na rede privada nat (provavelmente virbr0)?
Você provavelmente quer estar na rede de ponte neste tipo de situação (acesso à VM do lado de fora). Na rede com ponte, você pode fornecer à sua máquina virtual um endereço IP na mesma sub-rede que o sistema host (ou em uma vlan que você configurou no host, mas suponho que isso seja muito complicado para o que você deseja fazer).
Então, se a rede Host for a rede pública (esperamos que não), você poderá atribuir diretamente ao servidor virtual seu endereço público. Senão você tem que configurar o roteador / firewall acima do seu sistema host, a fim de nat o endereço IP público que você deseja usar para o endereço interno em sua rede Host.
Se isso não estiver claro, forneça mais informações sobre seu endereçamento IP.