ssh-agent está armazenando chave criptografada na memória, portanto, alterar para a chave física no disco não afeta sua funcionalidade.
Se você quiser garantir que a alteração seja eficaz, remova a chave do agente e adicione-a novamente, conforme indicado nos comentários ( ssh-add -D para remover e ssh-add para adicionar a chave novamente do local padrão).