Adicione a opção IdentitiesOnly . Sem essa opção, o SSH tenta primeiro as chaves ssh padrão disponíveis: id_rsa , id_dsa , id_ecdsa . Para alterar esse comportamento, substitua sua configuração por esta:
Host foobar foobar.example.com
Hostname foobar.example.com
IdentityFile ~/.ssh/id_ed25519
IdentitiesOnly yes
Host *
IdentityFile ~/.ssh/id_ed25519
IdentityFile ~/.ssh/id_rsa
IdentitiesOnly yes