Em /home/user/.ssh/authorized_keys no servidor a ser acessado remotamente, insira a chave pública (no Ubuntu, conteúdo de /home/user/.ssh/id_rsa.pub ) para o dispositivo do qual o usuário fará login. Isso precisará ser repetido para todos os servidores adicionais desejados para o usuário efetuar login.
Se o usuário tiver mais de um dispositivo usado para acessar o servidor, deve haver uma chave pública para cada dispositivo, com cada chave pública em sua própria linha em /home/user/.ssh/authorized_keys .