apaga linhas duplicadas com os mesmos valores (imagem anexada)

Question

Como você pode ver na imagem, eu tenho colunas de 0-350 (mais de 3000 delas no arquivo) e eu estava tentando se livrar de todas as colunas duplicadas que têm os valores de 0-350. Existe uma maneira rápida e fácil de descobrir isso? Eu procurei alguns tópicos antigos, mas eles estavam lidando com itens duplicados em uma coluna. Tentei usar a função de filtro, mas não consegui filtrá-los usando linhas em vez de colunas. Algum pensamento? Desde já, obrigado! refmac5

    

Answer 1

Etapa 1

Vamos acompanhar a ordem das suas colunas. Preencha a primeira linha vazia na parte inferior (suponho que seja a linha 37) com 1, 2, 3, etc. Vamos precisar disso mais tarde. Não use uma fórmula - cada célula deve ter um valor. Veja:

link 1

Etapa2

Paraestaetapa,eusuponhoquealinha36contémos350s,equenenhumadascolunasquevocêdesejamantertemonúmero350nalinha36.Combaseemsuaimagem,issopareceumasuposiçãorazoável.

• Ctrl+A
• Dados>Ordenar>Opções>daesquerdaparaadireita
• Dados>Ordenar>Critériosdeclassificação>Chavedeclassificação1>Linha36(descendente)

Etapa3

Todasassuascolunas"0-350" agora estão à esquerda. Exclua-os.

Etapa4

Coloqueascolunasdevoltanaordemoriginal.

• Ctrl+A
• Dados>Ordenar>Opções>daesquerdaparaadireita
• Dados>Ordenar>Critériosdeclassificação>Chavedeclassificação1>Linha37(ascendente)

Etapa5

Excluaaúltimalinha-aquecriamosnaEtapa1.

    

Answer 2

Se você está procurando uma solução de linha de comando programável, e as duplicatas estão em colunas alternativas, como mostrado no seu exemplo, então você pode simplesmente pegar uma fatia da matriz de campos de entrada que consiste primeiro elemento seguido pelo segundo, quarto e assim por diante. Em perl (cujos arrays são baseados em zero) que seriam índices 0,1,3,...N-1 , você poderia fazer isso como

perl -F, -alne 'print join ",", @F[ 0, grep {$_ & 1} 1..$#F ]' data.csv > filtered.csv

(a parte grep {$_ & 1} 1..$#F gera os índices ímpares).