Você não se conecta usando o ip do cliente conectado usando uma conta de usuário configurada no servidor, que também recebeu o direito de estabelecer uma conexão ssh.
Então você conecta (do cliente) com ssh <user name of account on server>@<server ip>