But does it mean that by default
ssh-agentcan use only one key pair and it will try to use it for all remote servers?
Por padrão, ssh-agent usará todas as chaves adicionadas a todos os servidores que você conectar. Você pode limitar as chaves em ssh_config como na outra resposta.
As chaves têm impressões digitais, mas na primeira fase da autenticação de chave pública, as partes públicas são verificadas apenas na lista de servidores e, se não corresponderem, a autenticação é ignorada (geralmente para outra autenticação de senha ou chave).