O OpenSSH está oferecendo identidades padrão e as identidades carregadas no ssh-agent por padrão (que geralmente é o que você quer). Se você quiser evitar esse comportamento, há a opção IdentitiesOnly :
IdentitiesOnlySpecifies that
ssh(1)should only use the authentication identity and certificate files explicitly configured in thessh_configfiles or passed on thessh(1)command-line, even ifssh-agent(1)or aPKCS11Provideroffers more identities. The argument to this keyword must beyesorno(the default). This option is intended for situations wheressh-agentoffers many different identities.