A maioria das distribuições de linux vem com o ssh. Verifique novamente se o ssh iniciará na inicialização. A partir daí, você pode efetuar login a partir de uma máquina diferente, instalar, configurar e o que mais precisar fazer. Você pode instalar o vnc se quiser ver a área de trabalho do computador e trabalhar remotamente. Uma opção melhor é apenas usar o -X
flag ao usar o ssh, porque você pode carregar a parte gráfica de aplicativos específicos. Se você usar o vnc, também é sugerido que você faça um tunelamento através do ssh para maior segurança. Especialmente se você não estiver se conectando a esta máquina localmente.
Você será capaz de fazer isso para a sua escolha de sabores linux. Apenas certifique-se de que você tem o openssh iniciando para que você sempre possa se conectar.