O problema é que o seu cliente Windows VNC não suporta o mecanismo de criptografia de conexão que o servidor Vino está tentando impor - veja VNC acessível de máquinas que não são do Linux apenas com criptografia desativada .
Você deve conseguir contornar isso desativando a configuração require-encryption
padrão
gsettings set org.gnome.Vino require-encryption 'false'
Se sua sessão for exposta a uma rede pública, ou seja, você estiver usando VNC para qualquer coisa fora de sua própria rede local, é aconselhável manter a porta VNC real fechada e / ou protegida por firewall e encapsular a conexão por SSH.