Eu tenho dois arquivos xls de 8MB e 10MB. Eu tenho que mesclá-los e remover linhas duplicadas. (Ambos os arquivos possuem linhas exclusivas, mas após a mesclagem haverá linhas duplicadas).
Eu tentei mesclar os arquivos, mas os dois arquivos não serão mesclados devido ao tamanho grande.
Existe algum método no Ubuntu para remover as duplicatas dos arquivos, considerando a minha situação?
Observação : - Se, sem mesclar o arquivo, a duplicação puder ser removida, isso também será aceitável.
Minha tentativa após as sugestões: - Eu converti o arquivo em csv. Depois copiei um arquivo para outro e, em seguida, removi a duplicação usando o filtro avançado. Então salvei o novo csv (combinado) no formato xls. Mas quando reabri o novo arquivo xls (combinado), ele não mostra todos os dados. Mostrou apenas 60% dos dados.
O novo arquivo CSV (combinado) é de 24MB e quando eu estou salvando como arquivo xls, o tamanho do arquivo xls é de 11MB
Libreoffice: Dados → Filtro → Filtro Avançado → Opções → Linhas duplicadas desativadas
Você pode copiar o conteúdo de ambos os arquivos em uma planilha, remover as duplicatas e criar dois novos arquivos, se desejar. Isso precisaria de algum tipo de marcador na planilha para que você possa ver o arquivo 2 iniciado.
Nenhuma magia especial necessária.
