Se você pesquisar no Google, encontrará uma explicação nos primeiros links. Como por exemplo aqui
A chave privada deve ser conhecida apenas por você.
The private key is retained by the client and should be kept absolutely secret.
A chave pública que você coloca em todos os dispositivos em que você precisa se autenticar.
The associated public key can be shared freely without any negative consequences.
E eles também oferecem uma breve explicação sobre como a autenticação funciona.
When a client attempts to authenticate using SSH keys, the server can test the client on whether they are in possession of the private key. If the client can prove that it owns the private key, a shell session is spawned or the requested command is executed.
Editar:
Parece que há outro par de chaves criado durante a negociação ssh pelo algoritmo Diffie-Hellman, que é usado para criptografar o tráfego. Leia o tópico this para obter uma explicação mais completa .
Mais algumas explicações aqui