O servidor também precisa da sua chave privada, porque a comunicação é bidirecional. Nem tudo é criptografado usando a chave pública do cliente - somente coisas do servidor para o cliente são feitas dessa maneira.
O motivo é óbvio: se o cliente criptografar suas transmissões usando sua própria chave pública, o servidor precisaria da chave privada correspondente para descriptografá-la. Que derrota o ponto de uma "chave privada". Se o servidor não tiver a chave privada do cliente, ele não poderá descriptografar mensagens feitas com a chave pública do cliente.
Em vez disso, o servidor envia ao cliente uma chave pública, que o cliente usa para criptografar as mensagens para o servidor. Portanto, o servidor precisa de seu próprio par de chaves pública / privada - presumivelmente um par completamente diferente daquele usado pelo cliente.
O cliente mantém sua chave privada privada.
O servidor mantém sua chave privada privada.
Eles não são a mesma chave.
Faz sentido? Observe que isso significa que nenhuma das partes pode descriptografar as mensagens enviadas; somente o receptor da mensagem pode.