Tente encontrar os processos executando um ssh-agent e finalize-os, pois o agente pode estar se comportando incorretamente.
Além disso, observe que ssh-agent com problemas não tem nada a ver com seu ~/.ssh/authorized_keys .
O ssh-agent é um auxiliar para ajudar com ssh logins, armazenando em cache sua senha na memória, para que você não precise digitá-la toda vez que a usar.
Eu me acostumei a adicionar uma chamada ao utilitário keychain ao meu ~/.bash_profile para ajudar a gerenciar meu ssh-agent (e meu gpg-agent , mas isso é outra história).
Basta colocar esta linha no seu ~/.bash_profile (ou ~/.bashrc , dependendo das suas referências, há diferenças sutis):
eval $(keychain --clear --eval id_rsa id_dsa id_ecdsa other.id_rsa)
Dessa forma, você será solicitado a digitar a frase secreta de suas chaves somente uma vez em toda a sessão do shell.
keychain é empacotado no Debian e derivados, mas é apenas um script de shell. Se a sua distribuição não tiver, você pode encontrá-la aqui . Basta colocá-lo em algum lugar no seu caminho. É aconselhável que chown it root:root e chmod it rwxr-xr-x (755) evitem que usuários sem privilégios o modifiquem.
Não use chaves sem frase-senha.