É exatamente como você diz: Todo o conceito de autenticação de chave pública é que a chave privada deve ser conhecida apenas pelo proprietário, enquanto a chave pública correspondente pode ser amplamente disseminada. A segurança da sua autenticação depende da segurança da chave privada, não da segurança da chave pública.
O fato de alguém fornecer uma chave privada automaticamente faz com que seja comprometido. (Você não sabe se o outro administrador ainda tem uma cópia que pode ser usada para se passar por você.)