"Todos os e-mails" é uma visualização virtual das pastas reais no Gmail, por isso conterá duplicatas de e-mails em outras pastas. A "Visualização rápida" não é inteligente o suficiente para filtrar essas duplicatas e parece que não há como excluir pastas de uma Visualização rápida.