No final, resolvi o problema cancelando a inscrição de pastas IMAP que não desejava usar. No meu caso foi: - Gmail / All_messages - Gmail (Gmail - Caixa de entrada)
Para fazer isso, basta acessar a pasta = > Pastas IMAP = > e desmarque aqueles que você não deseja baixar para o Outlook.
Outra opção é ir ao webmail do Gmail (gmail.com) = > Configurações = > Etiquetas = > E defina rótulos que você não deseja sincronizar com o Outlook para não mostrar no acesso IMAP