Sim, a única maneira de fazer isso é usar ssh -i ou criar ~/.ssh/config em cada máquina, com as mesmas configurações IdentityFile .
No entanto, basta copiar as chaves públicas para outros servidores. Ou seja, não ~/.ssh/A_rsa , mas apenas ~/.ssh/A_rsa.pub . O cliente ssh usará o agente para chaves privadas, assim como já faz em sua máquina local.