Existe uma configuração de SSH Config chamada IdentitiesOnly, cujo padrão é "no". Defina como sim no seu arquivo de configuração (globalmente ou para um host específico) e seu problema deve ser resolvido.
por exemplo, coloque isso em ~ / .ssh / config:
Host your.server.com
IdentityFile ~/example/your_new.key
User your_user
IdentitiesOnly yes
Na página Man do ssh_config:
IdentitiesOnly
Specifies that ssh(1) should only use the authentication identity
files configured in the ssh_config files, even if ssh-agent(1) or a
PKCS11Provider offers more identities. The argument to this keyword
must be ''yes'' or ''no''. This option is intended for situations
where ssh-agent offers many different identities. The default is
''no''.
Eu estava tendo exatamente o mesmo problema (e sendo bloqueado pelo fail2ban). Isso resolveu isso.