Daniel está correto, o que seu agente ssh carregou?
ssh-add -l
Você pode limpar tudo do seu agente ssh com
ssh-add -D
Observe também que o agente ssh no Mac OS X (10.5+) geralmente não está em execução até ser necessário. Portanto, SSH_AGENT_PID é indefinido e SSH_AUTH_SOCK é configurado para que o launchd crie apenas o processo ssh-agent quando o soquete for utilizado pela primeira vez .