Provavelmente, o arquivo da chave privada é muito aberto para o ssh. Eu tive um erro semelhante há alguns dias atrás.
Você precisa definir as permissões no diretório ~ / .ssh para ficar mais seguro.
Experimente:
chmod 600 ~/.ssh/id_*
chmod 644 ~/.ssh/id_*.pub