Perguntas sobre 'uniq'

Tags
O comando uniq exclui linhas repetidas em um arquivo. O comando uniq lê a entrada padrão ou um arquivo especificado pelo parâmetro InFile
4
respostas

soma o par de colunas com base nos campos correspondentes

Encontrei um problema que excede meu conhecimento básico de unix e realmente apreciaria alguma ajuda. Eu tenho um arquivo grande no seguinte formato: 2 1019 0 12 2 1019 3 0 2 1021 0 2 2 1021 2 0 2 1022 4 5 2 1030 0 1 2 1030 5 0 2 1031 4...
18.03.2015 / 12:42
5
respostas

Remover linhas duplicadas adjacentes enquanto mantém o pedido

Eu tenho um arquivo com uma coluna com nomes que se repetem um número de vezes cada. Quero condensar cada repetição em uma, mantendo quaisquer outras repetições de mesmo nome que não sejam adjacentes a outras repetições de mesmo nome. Por exe...
23.04.2018 / 17:30
2
respostas

Onde foi minha linha 'uniq' ou 'sort -u', com alguns caracteres unicode

O que está acontecendo no seguinte trecho de código? Eu não estou recebendo minha saída esperada. Eu acho que foi um bug, mas isso acontece por 2 programas diferentes (uniq e sort), então eu suspeito que é algo a ver com ... bem, eu não sei o...
22.07.2011 / 07:23
4
respostas

Efetivamente mesclar / classificar / único grande número de arquivos de texto

Estou tentando um ingênuo: $ cat * | sort -u > /tmp/bla.txt que falha com: -bash: /bin/cat: Argument list too long Então, para evitar uma solução boba, como (cria um enorme arquivo temporário): $ find . -type f -exec cat {} &...
15.05.2017 / 10:52
5
respostas

Como criar uma matriz de elementos exclusivos de uma string / array no bash?

Se eu tiver uma string "1 2 3 2 1" - ou uma matriz [1,2,3,2,1] - como posso selecionar os valores exclusivos, ou seja, "1 2 3 2 1" produces "1 2 3" ou [1,2,3,2,1] produces [1,2,3] Semelhante ao uniq, mas o uniq parece funcionar em...
10.11.2014 / 18:17
2
respostas

Ferramenta mais rápida 'uniq' no linux

Eu tenho um arquivo de texto grande (1,5 G), Eu quero saber qual é a ferramenta mais rápida e confiável no Linux. Eu costumo usar: awk '!x[$0]++' file.txt Mas quando eu uso o comando htop , vejo que o uso da minha memória está aum...
10.05.2014 / 14:05
4
respostas

Comando groupwise uniq?

Estou procurando um comando para obter de um arquivo neste formato: hello 32 hello 67 hi 2 ho 1212 ho 1390 ho 3000 Para este formato (desduplique tomando a última linha de um "grupo"): hello 67 hi 2 ho 3000 No mom...
19.06.2014 / 18:09
4
respostas

Como encontrar o número de pares não ordenados de uma lista

Eu quero contar o número de pares não ordenados de uma lista. Em outras palavras, tenho uma lista: ab ba ac bc e quero exibir: 2 ab 1 ac 1 bc     
01.08.2017 / 12:43
2
respostas

Mantendo linhas exclusivas com base em informações de 2 de três colunas

Suponha que você tenha um arquivo como este: NW_006521251.1 428 84134 NW_006521251.1 511 84135 NW_006521038.1 202 84155 NW_006521038.1 1743 84153 NW_006521038.1 1743 84154 NW_006520495.1 198 84159 NW_006520086.1 473 84178 NW_006520086....
23.04.2018 / 19:19
3
respostas

Obter linhas com valores máximos na coluna usando awk, uniq e sort

Eu tenho um arquivo com o próximo formato 2011-12-01 user1 access1 2011-12-01 user1 access2 2011-12-01 user2 access2 2011-12-01 user4 access2 2011-12-02 user1 access1 2012-01-01 user3 access1 2012-01-01 user4 access2 Eu gostaria de ter um...
25.01.2012 / 13:36