Suponho que você esteja usando o ssh-agent ou algo parecido para armazenar em cache suas chaves privadas descriptografadas, o que pode alterar a ordem em que as chaves são oferecidas. Isso seria visível em nível de log mais detalhado (com vários -v ).
Além disso, a opção IdentitiesOnly tem um significado ligeiramente diferente do que você pode supor - limitará as chaves que serão oferecidas ao servidor, mas não o limitará ao que precede a opção. É usado principalmente para evitar a oferta de identidades no local padrão carregado automaticamente ( ~/.ssh/id_{rsa,dsa,ecdsa,ed25519} ).
A opção IdentitiyFile também é um pouco diferente do que você supõe. É permitido ser especificado várias vezes (consulte a página de manual), assim também será usada a seção Match * .
Se você quiser usar alguma chave por padrão e outra somente para esse host específico, mova a chave "padrão" para a localização padrão ~/.ssh/id_rsa e remova-a do arquivo de configuração. Isso deve resolver seus problemas.