Se você está preocupado com o comprometimento da sua chave privada, isso não acontecerá. Não é transmitido.
A chave pública é, no entanto. Suponho que você poderia identificar alguém com isso, mas isso só parece um problema se você estiver fazendo login em servidores sem permissão.
Aqui está um post bem escrito que entra em mais detalhes sobre como Trabalho de conexões SSH. Trecho relevante:
The server can use the public key in this file to encrypt a challenge message to the client. If the client can prove that it was able to decrypt this message, it has demonstrated that it owns the associated private key.
Além disso, você não pode obter uma chave privada de uma chave pública.