Solução:
- desativa o login automático, eu pensei nisso de qualquer maneira
- faça logout e faça login novamente
- na próxima vez que tentei me conectar ao SSH, havia uma caixa de seleção para desbloquear automaticamente essa chave, que eu verifiquei e continuei com o login
- voila !, após a reinicialização Eu aumentei a segurança desabilitando o login automático e ele não me pediu senha no chaveiro SSH