Você não deve usar o servidor diretamente, mas se conectar a ele a partir do seu host. Em quase qualquer tipo de servidor, você vai querer ter o servidor openssh instalado. Então você simplesmente abre um terminal no seu host e se conecta a ele usando o ssh. Você pode querer executar uma sessão byobu / screen no servidor.
Em outras palavras; use seu emulador de terminal normal e conecte-se ao servidor.