Você não precisa criar um arquivo known_hosts , você precisa criar um arquivo authorized_keys . Ele conterá a chave pública de user1@host1 . Considerando o que você fez até agora, simplesmente renomeie o arquivo .pub que você criou em ~user2/.ssh/ para authorized_keys e você ficará bem.