Acontece que o problema é que eu tinha muitos IDs no meu agente. Normalmente, o ssh irá ignorar a opção -i , uma vez que tenha identidades no agente e apenas use as identidades no agente, por sua vez. Se você tiver mais do que, digamos, 5, os servidores rejeitarão todos eles e depois voltarão a usar senhas, pois houve muitas tentativas malsucedidas.
A configuração de identitiesonly no host * torna ssh a opção -i (ou identityfile no .ssh/config novamente, mas ainda procurará no agente se a identidade especificada já estiver desbloqueada, para que Corrigi esta questão de qualquer ângulo.