É um pouco mais complicado do que isso. O cliente oferece todas as chaves que estão disponíveis e depois que várias delas falham, ele falha completamente.
Você pode ver isso no log detalhado se adicionar -vvv
à linha de comando. Usar -o IdentitiesOnly=yes
pode ajudar.
Além disso, pode ajudar a reduzir a quantidade de chaves que você tem no seu local ssh-agent
.
A última coisa que posso pensar é mover esse id_rsa
do local padrão (o cliente está sempre lendo os arquivos no local padrão e não pode ser desativado) e configure em ~/.ssh/config
que ele será usado nos hosts onde você precisa apenas.