Vou postar isso como uma resposta, porque isso resolve parcialmente o problema, mas não estou satisfeito porque não entendo o que está errado.
Encontrado em: link
If I change the name of the private key to id_rsa.old and then specify it with the -i flag I can then login to the first host.
Posso confirmar que isso funciona, mas isso é um incômodo, na melhor das hipóteses, e francamente confuso.