Edit: Estou deixando isso aqui para o Google, mas, ao encontrar isso, não acredito mais que esse seja o verdadeiro problema.
gpg-agent
gosta de copiar suas chaves e colocar sua própria proteção de frase-senha nelas quando você ssh-add
delas pela primeira vez. De link
SSH Keys, which are to be used through the agent, need to be added to the gpg-agent initially through the ssh-add utility. When a key is added, ssh-add will ask for the password of the provided key file and send the unprotected key material to the agent; this causes the gpg-agent to ask for a passphrase, which is to be used for encrypting the newly received key and storing it in a gpg-agent specific directory.
Então pode ser que isso aconteça, a menos que continue acontecendo pelas mesmas chaves. Se eles tivessem senhas originalmente, você seria perguntado duas vezes, uma vez para desbloqueá-lo e uma vez para criptografá-lo novamente.