Honestamente, "por razões de segurança" não faz sentido fechar a porta 22, mas deixar 5900 abertas. Uma porta é uma porta. Então, vamos olhar para o serviço do outro lado. O SSH pode suportar 2 fatores e chave pública. VNC tinha (ainda pode ter) e limite de senha de 8 caracteres. Edit: Além disso, o VNC não tem criptografia.
Mova o ssh para uma porta diferente, 4521 por exemplo, e ative a autenticação de dois fatores. Isso é segurança.