Isso é causado pelo tempo limite do comando netcat devido a não haver conexão VNC em 10 segundos. No meu caso, isso acontece porque o Java demorou a ser iniciado.
Você pode fazer login no SSH na caixa e executar manualmente o comando netcat com um tempo limite maior, por exemplo,
/bin/nc -l -p 5900 -w 100 -c '/usr/sbin/qm vncproxy 1301 2>/dev/null'
Ainda não encontrei uma maneira de alterar globalmente esse valor de tempo limite.