Usando o ssh
Desligue as senhas e use apenas a autenticação DSA (ou RSA). Configure-o como aqui detalhado em "Uso da chave pública do DSA autenticação "(e a lista inclui mais coisas).
Em seguida, desative totalmente a autenticação de senha SSH, portanto, se você não tiver o arquivo id_rsa correto, não poderá entrar. Isso é detalhado aqui .
Altere também a porta padrão do ssh. Isso parece bobo, mas não é de todo. Veja os comentários no segundo link acima . Para fazer isso, use as coisas aqui .
Usando o VNC
NÃO use o VNC de fora. Tunnel-lo através do SSH. Isso é realmente muito fácil de resolver.