Provavelmente você está usando a chave armazenada em algum local não padrão e adicionada ao seu gnome-keyring .
Usar ssh -A santhosh@localhost encaminhará a conexão ao seu agente e você poderá usar a mesma identidade na sessão ssh.
Outra maneira seria especificar o arquivo de identidade em seu ~/.ssh/config :
Host github.com
IdentityFile path/to/key