Não, não armazena a frase secreta.
O que ele faz é armazenar a chave desbloqueada / descriptografada na memória para que possa usá-la para assinar solicitações em uma base necessária sem solicitar que o usuário a desbloqueie a cada vez. Contanto que você tenha o agente executando sua sessão é vulnerável a alguém com as permissões necessárias (seu usuário ou root) acessando o soquete que fala com o agente e usando quaisquer chaves que estejam carregadas no seu agente para assinar seus próprios pedidos e assim logar qualquer coisa em que sua chave privada te atinja.