Isso acontece quando gpg-agent não sabe qual TTY deve ser solicitado, o que está acontecendo aqui porque você está redirecionando stdin.
Você pode colocar export GPG_TTY=$(tty) no seu ~/.bashrc para configurar o TTY para cada shell de login.
Os documentos sobre gpg-agent têm mais detalhes.