Encontrei a resposta após algumas pesquisas e encontrei o seguinte em /etc/libvirt/qemu.conf
# VNC is configured to listen on 127.0.0.1 by default.
# To make it listen on all public interfaces, uncomment
# this next option.
#
# NB, strong recommendation to enable TLS + x509 certificate
# verification when allowing public access
#
vnc_listen = "0.0.0.0"
Eu descomentei a linha acima e reiniciei libvirtd
para descobrir que ainda não consegui acessar o VNC pela rede. Desta vez, o culpado foi iptables
. No Centos, usei system-config-firewall-tui
para permitir acesso VNC.