Quando tentei ssh -i ~/.ssh/key_name user@domain , houve uma resposta do servidor que disse Agent admitted failure to sign using the key. . Isto é aparentemente devido ao problema de interferência do gnome-keyring e a correção é discutida neste .
Uma correção temporária é tentar SSH_AUTH_SOCK=0 ssh user@domain e se com isso você pode ssh em seu servidor, então siga com a correção no link acima.