Quando tentei ssh -i ~/.ssh/key_name user@domain
, houve uma resposta do servidor que disse Agent admitted failure to sign using the key.
. Isto é aparentemente devido ao problema de interferência do gnome-keyring e a correção é discutida neste .
Uma correção temporária é tentar SSH_AUTH_SOCK=0 ssh user@domain
e se com isso você pode ssh em seu servidor, então siga com a correção no link acima.