se você estiver usando o libvirt, você pode definir manualmente as portas no virt-manager ou no domxml, (através de virsh edit VMNAME )
O formato é <graphics type='vnc' port='PORTNUMBER'/>
No Ubuntu 12.04 eu uso o VNC para me conectar aos convidados do KVM.
Como posso alterar a porta que esses usuários usam? Por padrão, eles usam a porta 5900 e aumentam para 5901 e assim por diante.
Especifique a porta ao iniciar a imagem do KVM, por exemplo:
/path/to/qemu-kvm [...] -vnc :5
A porta é 5900 + o argumento para -vnc , neste caso, 5905.