Eu tive o mesmo problema que você. Eu não sou especialista, mas a solução que funcionou para mim foi remover as chaves do diretório ~ / .ssh. Este é um exemplo do que eu estava vendo.
$ ssh-add -l
2048 06:e9:a6:14:2a:e4:c3:11:56:ea:c3:5d:f9:84:79:c6 first key (RSA)
2048 2c:c3:97:fe:f3:cf:03:dc:d3:0b:87:2b:01:72:33:3b second key (RSA)
$ ssh-add -d ~/.ssh/id_rsa.pub
Identity removed: /home/user/.ssh/ybot_rsa.pub (/home/user/.ssh/id_rsa.pub)
$ ssh-add -l
2048 06:e9:a6:14:2a:e4:c3:11:56:ea:c3:5d:f9:84:79:c6 first key (RSA)
2048 2c:c3:97:fe:f3:cf:03:dc:d3:0b:87:2b:01:72:33:3b second key (RSA)
Foi depois de mover id_rsa (e id_rsa.pub) da pasta ~ / .ssh que o agente ssh parou de ter a identidade. O que eu fiz foi:
$ ssh-add -l
2048 06:e9:a6:14:2a:e4:c3:11:56:ea:c3:5d:f9:84:79:c6 first key (RSA)
2048 2c:c3:97:fe:f3:cf:03:dc:d3:0b:87:2b:01:72:33:3b second key (RSA)
$ mv ~/.ssh/id_rsa ~/.ssh/id_rsa.pub ~/
$ ssh-add -l
2048 2c:c3:97:fe:f3:cf:03:dc:d3:0b:87:2b:01:72:33:3b second key (RSA)
Eu estou supondo (eu posso estar errado) que se você não tivesse o daemon do Gnome Keyring rodando (gnome-keyring-daemon), este comportamento iria mudar. Talvez a solução original (e lógica) funcionasse, mas não a segunda.