Eu não consigo entender porque toda vez que eu ssh de volta ao meu servidor eu sempre tenho que iniciar meu agente ssh com o comando eval 'ssh-agent -s' seguido por ssh-add <my_key.pem> para que o ssh seja bem sucedido no meu servidor. Eu coloquei isso no meu .bashrc, mas obviamente eu estou perdendo alguma coisa e não quero sempre ter que inicializá-lo toda vez que eu fizer login.
Como disse @Jakuje, usar o Forward Agent e usar uma chave em sua máquina local segura é melhor.
No entanto, se você precisar fazer o que diz, use uma ferramenta como keychain (github.com/funtoo/keychain) ou ssh-find-agent (github.com/wwalker/ssh-find-agent (escrevi o último, e muitos ainda o usam, mas eu mudei para usar o antigo.) Ambas as ferramentas procuram por agentes gpg ou ssh e conectam seu ambiente a eles por você.
Eu acredito que muito mais seguro e útil é ForwardAgent da sua estação de trabalho, do que ter algumas teclas em algum servidor e violino durante cada login com a reinicialização do agente.
Você pode simplesmente adicionar ao seu ~/ssh/config para o host apropriado (ou usar a opção -A para o comando ssh ):
ForwardAgent yes
Adicione a chave local ao seu agente local e você não precisa se preocupar se a usar local ou remotamente.
Você também não mencionou se é uma chave protegida por senha, mas suponho que não, se você a colocou em .bashrc . Muito mais fácil seria também especificar o caminho para digitar seu ~/ssh/config no servidor (se você quer tê-lo no servidor) assim:
IdentityFile <my_key.pem>
novamente para host específico ou globalmente.