Eu tive o mesmo problema com a Sierra. Tente remover id_rsa
de $HOME/.ssh/
e, em seguida, reinicie (removi id_rsa.pub também). Isso resolveu meu problema.
Para esquecer a frase secreta de chaves privadas (id_rsa) eu geralmente corro:
ssh-add -D # to forget all loaded identities
ssh-add -d # to forget primary identity ($HOME/.ssh/id_rsa)
Agora, com o macOS Sierra v10.12.1, recebo este erro:
$ ssh-add -D
All identities removed.
$ ssh-add -d
Could not remove identity "/Users/user/.ssh/id_rsa": agent refused operation
Could not remove identity "/Users/user/.ssh/id_dsa": agent refused operation
Eu procurei no google sem sorte!