AFAIK, isso não será possível. As chaves privadas usadas pelo agente nunca são transmitidas para esse servidor intermediário. Se sua conexão com o servidor intermediário for perdida, simplesmente não há nada a ser usado para autenticação. O protocolo do agente é projetado para que suas chaves privadas nunca sejam transferidas do sistema que executa o agente.
Se você está trabalhando com frequência nesse sistema Intermediário, sua melhor opção pode ser gerar um par de chaves exclusivo para esse sistema e carregá-lo em um agente em execução nesse sistema quando você fizer login e iniciar seu processo. Obviamente, você também precisaria publicar a chave pública associada a todos os sistemas que você precisa acessar.