A página de manual gpg-agent explica na opção --enable-ssh-support
que o O protocolo do agente ssh não é capaz de fornecer o nome do tty ao agente, portanto, o padrão é usar o terminal original no qual ele foi iniciado. Antes de executar o comando ssh que requer uma frase secreta em um novo terminal, você precisa digitar
gpg-connect-agent updatestartuptty /bye
no novo terminal para atualizar a visão do agente de qual tty ou display usar.