windows precisa de ajuda para edição de arquivos de texto grande para remover duplicatas - combine o trabalho txt em 50GB +

Question

tenho windows 2012
32 GB de RAM I7 CPU Prossesor 1 TB SSHD

Eu tenho arquivos .txt de listas de palavras em linhas. Os arquivos txt começam de 2 GB a 50 GB

que tipo de ferramentas ou programa pode funcionar nesse tamanho / linhas grandes combinar todos os arquivos para 1 arquivo .txt então trabalhe nesse arquivo 1 .txt que pode ser 100GB depois de combinado / mesclado

para remover linhas duplicadas com CauseSinstive e não travar ou congelar ou atrasar? Eu sei que eu fiz uma pergunta parecida com isso, mas eu não consegui nada simples para

me ajude eu não entendo muito nos códigos cmd que as pessoas usam Então, se possível, alguém me fale sobre um programa pode realmente fazer isso sem um problema ou uma maneira cmd com fácil explicar para iniciante

como o que preciso fazer por etapas e como fazer então no final eu preciso de algo que não bata meu pc ou seja muito lento

eu tentei emeditor até agora não pode trabalhar em arquivo de 10GB e sua começando super lento por favor me ajude

    

Answer 1

A melhor ferramenta para gerenciar a enorme lista de palavras txt para Windows é: Gerenciador de lista unificada (ULM)

ULM

Você pode classificar, mesclar, dividir, remover duplicatas e muitas outras coisas úteis.

    

Answer 2

Você já pediu isso aqui: como mesclar grandes arquivos txt de 10 GB + em um arquivo txt e remover linhas duplicadas deste arquivo de 1 txt caminho mais rápido? .

Eu ainda recomendo fazer o download de um Linux (Ubuntu ou Mint ou qualquer outro) e gravá-lo em CD ou criar uma unidade USB inicializável e, em seguida, iniciar sem instalar. Então você poderia fazer o que eu recomendei aqui link

Ou você instala o Windows 10 Linux Bash Shell:
Acho que os comandos aqui link devem funcionar, eles são realmente comandos básicos do Linux.

Editar: Eu testei com Win10 pro (você não mencionou o seu sistema operacional). Passo a passo para instalar o Windows Linux Bash e mesclar o arquivo aa.txt e bb.txt para o newfile.txt com a eliminação de duplicatas (supondo que seus arquivos estejam localizados em C: \ temp):

1. Win + i para abrir as Configurações
2. Atualizar & Segurança - > para desenvolvedores: escolha o modo de desenvolvedor
   • o modo de desenvolvedor será instalado
3. Win + R - > "painel de controle" - > digite
4. Programas e recursos do lado esquerdo "Programas" ou "recurso do windows ativar"
   • Escolha "Windows Subsystem para Linux Beta"
5. reinicializar
6. Pressione Win e procure por "bash" e abra
7. Existem alguns prompts que você deve responder com "Y" e você é solicitado a definir um nome de usuário com senha
   O
   • bash está instalado agora.
   • sua unidade C: agora está disponível em / mnt / c.
8. escreva cd /mnt/c/temp/ (ou o seu caminho) e, em seguida, pressione enter
9. escreva cat aa.txt bb.txt | sort -u > newfile.txt
   • Se isso não funcionar, você pode tentar primeiro mesclar os arquivos em um arquivo com cat aa.txt bb.txt > tempfile.txt , depois disso, o comando de classificação como sort -u tempfile.txt > newfile.txt