O OS X tem um agente SSH em execução nas sessões do usuário; use ssh-add para gerenciar as chaves.
(Espero que você não leve a sério a remoção de chaveiros em Keychain Access ; a remoção da chave errada o impedirá de sair da sua conta e talvez você não consiga recuperá-la facilmente.)