Eu já vi esse aplicativo fazer isso também. Eu acho que é um resultado do script bash (que é o programa pass ) não pegar alguns erros. Para mim, foi motivo para não começar a usar o programa para valer.
Se você pode viver com os arquivos de texto simples sendo armazenados localmente, você pode evitar que eles sejam armazenados no git (e enviados para o github) configurando um arquivo .gitignore no seu ~/.password-store :
*
!*/
!.gitignore
!.gpg-id
!*.gpg
(isso primeiro ignora tudo para ser armazenado, então permite subdiretórios e permite que os arquivos de configuração e todos os arquivos terminem em .gpg ).
Se ainda não o fez, você deve alterar imediatamente todas as senhas que você enviou para o github. Também remova ~/password-store/.git e tudo abaixo e reinicialize git ( pass git init ) para o armazenamento de senhas, como os arquivos antigos, confirmados e de texto simples ainda estarão lá.