"Falha na conecção VNC: vncserver muitas falhas de segurança"
Significa que alguém tentou fazer login com credenciais incorretas com muita frequência dentro de um período de tempo especificado. O que esse número e o tempo variam dependendo do servidor VNC que você está usando.
Alguém provavelmente está executando um script tentando fazer login em qualquer coisa que possa encontrar ouvindo nas portas VNC padrão, e você precisará descobrir de que ip está vindo e bloqueá-lo.