De acordo com esta resposta , parece que sua senha simétrica está sendo armazenada em cache por gpg-agent e acessado para descriptografar o arquivo mais tarde.
Para evitar o cache, você precisa configurar um arquivo em ~/.gnupg/gpg-agent.conf
e adicionar:
# Disable agent cache
default-cache-ttl 0
max-cache-ttl 0
Salvar e executar:
gpgconf --reload gpg-agent
Para recarregar o agente depois.