ssh-agent ou gpg-agent com a opção --enable-ssh-support deve estar em execução e você deve exportar a variável de ambiente SSH_AUTH_SOCK para os processos que usarão o cache de frase secreta:
export SSH_AUTH_SOCK=/run/user/1000/gnupg/S.gpg-agent.ssh # example value