Eu percebi isso. Eu tive que transformar as cores no cliente VNC para 64 e agora ele permanece conectado ao servidor. Isso foi para as configurações de rede padrão (sem conexões de entrada para convidados).
Mudei minha instalação do KVM para conectar os convidados a uma rede de ponte e agora o VNC funciona bem com mais cores.