A duplicidade não não armazena em cache as frases-passe do gpg por padrão (você pode fornecê-las como env vars). Todos os prompts que você vê são do binário binário gpg abaixo. Assim, quando você configura seu gpg no estado desejado, a duplicidade irá usá-lo como configurado e você está definido.
Para usar gpg-agent
, leia o parâmetro --use-agent
na página de manual: link