Você tem pam_google_authenticator.so ativado em /etc/pam.d/common-auth .
common-auth está incluído em (quase) todos os outros arquivos em /etc/pam.d/ - essa é a finalidade, fornecer regras comuns de autenticação para programas que usam pam .
Se você não quiser que todo programa use a autenticação de dois fatores do google, exclua-o de /etc/pam.d/common-auth .