Isso pode ser um ataque DOS do seu serviço VNC, você pode alterar a porta padrão 5901 para outra, isso provavelmente minimizará o problema se for um ataque do DOS.
Outro problema, se ainda estiver relacionado ao DOS, é deixar o servidor VNC escutando na interface de rede local e usar o tunelamento SSH, que também lhe dará maior segurança para acesso remoto à sua área de trabalho.
Configure o túnel do seu cliente para o servidor usando o comando ssh:
ssh [email protected] -L 5901: localhost: 5901
e, em seguida, conecte-se ao localhost: 5901 usando o vncviewer no cliente.