Não tenho certeza de qual cliente você está usando, mas, para alguns, as configurações padrão são encaminhar solicitações de agente SSH e ignorar as chaves do intermediário. Procure em sua documentação para desativar o "encaminhamento de agente", em ssh (1) que é a opção -a
e o valor de configuração ForwardAgent
.