Eu uso o SSH Keychain no meu Mac para gerenciar meu agente de chaves ssh e as teclas anexadas. Ele roda o ssh-agent e o ssh-add para gerenciar as chaves nos bastidores, mas inicia quando eu faço o login, armazena a frase secreta no keychain de login do OSX (você não precisa fazer isso, no entanto).