Você pode ser afetado por este bug .
Se este for o caso, você tem o agente ssh errado configurado como ativo. Você pode verificar isso com o comando
$ echo $SSH_AUTH_SOCK
Se o valor do agente começar /tmp/ssh
, você tem a linha de comando ssh-agent
atuando como seu agente.
Como solução alternativa, você pode usar o comando shell do estilo antigo
$ ssh-add
para adicionar sua chave ao chaveiro. Isso não funciona bem com todos os programas gráficos, no entanto.