O OS X tem um agente SSH em execução nas sessões do usuário; use ssh-add
para gerenciar as chaves.
(Espero que você não leve a sério a remoção de chaveiros em Keychain Access
; a remoção da chave errada o impedirá de sair da sua conta e talvez você não consiga recuperá-la facilmente.)