ssh suporta a adição de uma chave ao agente na primeira utilização (desde a versão 7.2). Você pode ativar esse recurso colocando o seguinte em ~/.ssh/config
AddKeysToAgent yes
Isso também funciona ao usar ferramentas derivadas, como o git.
A partir do changelog 7.2:
* ssh(1): Add an AddKeysToAgent client option which can be set to
'yes', 'no', 'ask', or 'confirm', and defaults to 'no'. When
enabled, a private key that is used during authentication will be
added to ssh-agent if it is running (with confirmation enabled if
set to 'confirm').