O computador ao qual você está tentando se conectar deve ter openssh-server
em execução.
sudo apt-get install openssh-server
fará o trabalho para o Ubuntu.
Depois disso, você pode se conectar dessa maneira:
ssh [email protected]
e o servidor solicitará suas credenciais.
Onde x * é seu ip e usuário é o usuário que você deseja conectar como em seu servidor, que deve ter uma conta de usuário no servidor.