A implementação do caso que você especificou especialmente em sua pergunta seria complicada e exigiria alguns scripts bash, o que eu não recomendo para uma tarefa tão simples.
Mas algo muito semelhante pode ser alcançado usando a opção AddKyesToAgent em ssh_config , que basicamente adicionará as chaves a ssh-agent quando for usado pela primeira vez. Esta opção está disponível desde OpenSSH 7.2 .