Provavelmente você está usando a chave armazenada em algum local não padrão e adicionada ao seu gnome-keyring
.
Usar ssh -A santhosh@localhost
encaminhará a conexão ao seu agente e você poderá usar a mesma identidade na sessão ssh.
Outra maneira seria especificar o arquivo de identidade em seu ~/.ssh/config
:
Host github.com
IdentityFile path/to/key