Se o seu servidor estiver configurado para acesso remoto, use o comando ssh
localmente:
ssh xxx.xxx.xxx.xxx
Pode ser necessário especificar o nome de usuário remoto, se não for o mesmo que você usa localmente:
ssh [email protected]
Para mais detalhes, há muitos, muitos tutoriais disponíveis sobre o uso de ssh
(e, claro, as páginas man, como man ssh
).