Eu descobri o problema. O OSX estava usando seu próprio keychain e não o do .ssh como um sistema BSD ou Linux normal.
Eu só precisava adicionar o arquivo id_rsa ao keychain e então recopiar.
A chave privada funcionou bem depois disso.
Obteve as informações daqui: link