Todas as soluções requerem alguma configuração preliminar (porque, por padrão, não há confiança entre sistemas independentes - se seria, seria um sério problema de segurança).
Você pode adicionar sua chave pública ao processo de provisionamento / instalação de novos servidores, pode adicionar uma chave de autoridade de certificação para ser confiável, como apontado por @UlrichSchwarz ou pode se juntar a eles no domínio Kerberos e autenticar usando tíquetes kerberos.
Há muitas possibilidades, mas nada funcionará para você imediatamente.
Ao ler sua pergunta pela terceira vez, não tenho mais certeza de que entendi sua pergunta corretamente. Você pode estar procurando apenas por ssh-agent
encaminhamento? Se não, por favor, esclareça.