É por isso que existe a opção -i :
-i identity_fileSelects a file from which the identity (private key) for RSA or DSA authentication is read. The default is
~/.ssh/identityfor protocol version 1, and~/.ssh/id_rsaand~/.ssh/id_dsafor protocol version 2.Identity files may also be specified on a per-host basis in the configuration file. It is possible to have multiple
-ioptions (and multiple identities specified in configuration files).
Se você quiser torná-lo permanente, você precisa configurar seu arquivo de configuração do SSH e defina a IdentityFile option de acordo.
IdentityFileSpecifies a file from which the user's DSA, ECDSA or DSA authentication identity is read. […]
Se você vir uma caixa de diálogo semelhante a esta:

VocêprecisadigitarsuasenhadeusuárioparasuacontadoOSX.NãoésuasenhadechaveouasenhaSSHremota.Issoocorreporqueaidentidadenãofoiarmazenadanochaveiro.
Deacordocom
ssh-add -K