Remove a duplicação de dois arquivos compactados

Question

Eu tenho dois arquivos compactados, com valores organizados em colunas.

Preciso verificar a primeira coluna em cada um deles e excluir os valores duplicados do primeiro arquivo e mantê-los no segundo.

    

Answer 1

Você precisa colocar os caminhos dos arquivos no script e executá-lo.

Testei o script com estes arquivos de exemplo:

file1.csv :

11,0
12,b
14,z

file2.csv :

12,a
13,b
14,c

out.csv :

11,0

del_dup.sh :

#!/bin/bash

FILE1=./file1.csv
FILE2=./file2.csv
FILE3=./out.csv

IFS=$'\n' 
for line in $( cat $FILE1 ); do
        ID1="$( echo $line | cut -d ',' -f1 )"
        if [ -z "$( cat $FILE2 | grep ^"$ID1" )" ]; then
                echo $line >> $FILE3
        fi
done