Perguntas sobre 'uniq'

Tags
O comando uniq exclui linhas repetidas em um arquivo. O comando uniq lê a entrada padrão ou um arquivo especificado pelo parâmetro InFile
2
respostas

encontra número de equipes de um arquivo [fechado]

Eu comecei a aprender bash muito recentemente e tenho que encontrar o número de equipes de um arquivo, o arquivo pode ser baixado de este link . Abaixo está uma amostra Eu entendo que tenho que usar o cut e o uniq, mas não consigo d...
12.03.2018 / 11:24
6
respostas

Qual é a diferença entre “sort -u” e “sort | uniq ”?

Em todos os lugares que vejo alguém precisando obter uma lista única e classificada, eles sempre encaminham para sort | uniq . Eu nunca vi nenhum exemplo em que alguém usa sort -u . Por que não? Qual é a diferença e por que é melhor usar o u...
16.05.2013 / 13:22
7
respostas

Como posso remover duplicatas na minha .bash_history, preservando a ordem?

Eu realmente gosto de usar control+r para pesquisar recursivamente meu histórico de comandos. Eu encontrei algumas boas opções que eu gosto de usar: # ignore duplicate commands, ignore commands starting with a space export HISTCONTROL=eras...
20.09.2012 / 16:55
4
respostas

Como o uniq não é único o suficiente para que também haja uniq --unique?

Aqui estão os comandos em um arquivo aleatório de pastebin : wget -qO - http://pastebin.com/0cSPs9LR | wc -l 350 wget -qO - http://pastebin.com/0cSPs9LR | sort -u | wc -l 287 wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq | wc -l 287...
18.06.2015 / 12:20
4
respostas

Como obter apenas os resultados exclusivos sem precisar classificar os dados?

$ cat data.txt aaaaaa aaaaaa cccccc aaaaaa aaaaaa bbbbbb $ cat data.txt | uniq aaaaaa cccccc aaaaaa bbbbbb $ cat data.txt | sort | uniq aaaaaa bbbbbb cccccc $ O resultado que eu preciso é exibir todas as linhas do arquivo original, removen...
24.04.2011 / 22:23
2
respostas

Como o awk '! a [$ 0] ++' funciona?

Este one-liner remove linhas duplicadas da entrada de texto sem pré-ordenação. Por exemplo: $ cat >f q w e w r $ awk '!a[$0]++' <f q w e r $ O código original que encontrei nas internets dizia: awk '!_[$0]++' Isso foi a...
06.10.2014 / 22:56
5
respostas

busca não sensível a maiúsculas e minúsculas de nomes de arquivos duplicados

Existe uma maneira de encontrar todos os arquivos em um diretório com nomes de arquivos duplicados, independentemente da caixa (letras maiúsculas e minúsculas)?     
18.10.2011 / 21:02
12
respostas

Apagar linhas duplicadas em pares?

Eu encontrei este caso de uso hoje. Parece simples à primeira vista, mas mexer com sort , uniq , sed e awk revelou que não é trivial. Como posso excluir todos os pares de linhas duplicadas? Em outras palavras, se houver um número...
18.04.2016 / 22:50
2
respostas

O que 'uniq -t' faz?

Eu tenho um código antigo de 2003 que usa a opção -t para o comando uniq . Isso gera um erro, pois provavelmente essa opção não é mais suportada. Aqui está a parte que usa o comando: egrep -n "{ IA32_OP" ia32-decode.c | \ awk '{ p...
01.02.2014 / 15:00
1
resposta

Como remover linhas duplicadas em um grande arquivo de texto multi-GB?

A minha pergunta é semelhante a esta questão mas com algumas restrições diferentes: Eu tenho uma grande lista de palavras delimitadas por \n - uma palavra por linha. Tamanho de Os arquivos variam de 2 GB a 10 GB. Eu preciso remover to...
29.08.2011 / 04:40