Eu diria que é possível que você tenha encaminhamento de agentes ativado em sua conexão da Computer B, que resulta em chaves na B sobrepondo chaves em A .
O Github tem documentação descrevendo como você pode usar ssh -T
em seus servidores para verificar sua conexão. Use ssh -T -vvv
para ver o que está acontecendo e quais chaves estão sendo extraídas.