Respondai a minha própria pergunta, e a sugestão do heavyd foi útil. Acontece que eu tinha Agente de Encaminhamento ligado no meu cliente SSH local. O cliente SSH local (máquina C) tem acesso à chave privada e estava agindo como agente para autenticar a máquina A na máquina B. Não é isso que eu quero, e estou desativando o Encaminhamento de Agente no meu cliente.