Isso aconteceu comigo. O que eu fiz para consertar isso foi:
echo $SSH_AUTH_SOCK
para descobrir qual é o caminho. Isso retornará algo como /home/user/.cache/keyring-XXXXXX/ssh
ou /run/user/1000/keyring/ssh
. Em seguida, basta renomear o arquivo:
mv "$SSH_AUTH_SOCK" "$SSH_AUTH_SOCKrem"
Consegui fazer o login depois disso.