Você precisa acessar o QEMU Monitor e executar:
change vnc display,options
Em que display
é <host>:<display_number>
ou unix:<path>
ou none
.
Opções são opções para exibição. Consulte: link
Por exemplo Para alterar a porta para 5905 e aceitar conexões VNC para qualquer host:
change vnc :5
Se você estiver usando o virsh, use "qemu-monitor-command":
virsh # qemu-monitor-command <domain> --hmp change vnc :5