Claro, basta instalar um servidor ssh. Você provavelmente também deve rotear o vnc pelo ssh, mas não vou me concentrar nisso.
O servidor ssh faz basicamente o que o vnc faz, mas para o tty (não para o gui). É capaz de muitas coisas, mas é principalmente usado como uma maneira de exibir uma janela de terminal para um computador remoto, para que você possa usar os comandos do computador remoto.
Você pode instalá-lo usando sudo apt-get install openssh-server
e o servidor / serviço deve iniciar automaticamente após a instalação (e na inicialização)
O servidor escuta a porta 22 e para fazer login você só precisa usar seu nome de usuário e senha como faria em um tty.
para testar o servidor de qualquer instalação do Linux basta abrir um terminal e digitar:
ssh 'your username'@'your ip'
e digite sua senha. Se o cliente ssh não estiver instalado, você pode instalá-lo por
sudo apt-get install openssh-client
Se você quiser se conectar ao seu PC a partir de uma instalação do windows, você pode usar o putty do programa (free, google it: P)