Ok, eu encontrei uma solução. No sistema X , eu crio uma seção ~/.ssh/config para Y , que é algo como:
Host Y
...
IdentityFile ~/.ssh/id_Y.pub
...
em que ~/.ssh/id_Y.pub é uma cópia (em X ) da chave pública local para Y . sshd só precisa saber onde está a chave pública, descobrirá tudo o que precisa do agente.