Acontece que eu pensei que tinha removido ambas as senhas específicas do aplicativo que eu havia criado na minha autenticação em duas etapas, mas eu tinha esquecido de remover uma (aquela para o xabber).
Eu não tinha o app rodando no meu android por dias (mesmo em segundo plano), meu android não estava em Wi-Fi nem 3G e quando resolvi o problema, desliguei o telefone.
Apesar de tudo isso, quando removi o aplicativo. senha específica da lista de contas do Google, o problema foi resolvido, agora estou invisível no Gmail.