Para fins práticos: não, não é possível. Mais estritamente falando: é possível, mas não é viável. O invasor precisaria de imenso poder de computação ou grandes avanços matemáticos.
A entrada no seu arquivo authorized_keys
é uma chave pública. O ponto inteiro da criptografia de chave pública é que sua chave pública pode ser pública porque um invasor não pode usá-la para derivar sua chave privada.