man gpg-agent
oferece:
--default-cache-ttl n
Set the time a cache entry is valid to n seconds. The default is 600 seconds.
Modifique a maneira como você inicia o gpg-agent e adicione este parâmetro com um tempo de vida mais curto ou não inicie o gpg-agent.
Editar
Você precisa descobrir qual programa exatamente está pedindo a frase secreta. Até agora ficou claro que não é gpg-agent e não seahorse.
Com a janela aberta, execute wmctrl -lp | grep "The Window Title, Case Sensitive"
. Você deve ver uma fileira como:
0x03e0000c 0 2580 <your_host_name> The Window Title
O número 3 é o id do processo. Execute cat /proc/2580/cmdline
(substituindo 2580 pelo id do processo) e você verá o arquivo de programa da coisa que está pedindo sua senha, juntamente com quaisquer parâmetros. Então você pode olhar para cima e ver o que você poderia fazer sobre isso. Desinstalar é certamente uma opção.