Mover arquivos para diretórios separados com base no agrupamento definido em um arquivo CSV

Question

RELACIONADO: Mova todos os arquivos com prefixos correspondentes para a pasta com base em uma lista csv

Eu tenho um arquivo CSV de duas colunas (valores separados por vírgulas), com cabeçalhos:

"id","group"
"F1256","old"
"E51651","new"
"X56369","new"
"G5481369","old"
"54564564T","old"
"544-5F5","new"
"1298FFF","old"
"JKL-wew_w","new"

E eu tenho esses arquivos em um único diretório:

2014-12-15_T921_F1256.png
E51651_hf_2018-9-19.jpg
hf_oldX56369_15-10-2014.xml
2018-07_xx54564564T_hfdata.bmp
G5481369oldbackup_2018-01-01.txt

Eu quero usar grep (ou qualquer outra ferramenta semelhante) nesses arquivos e corresponder seus nomes de arquivo à coluna id do meu arquivo CSV. Em uma correspondência (ou seja, se id for encontrado exatamente no nome do arquivo), o arquivo precisará ser movido para o subdiretório group apropriado.

Portanto, duas pastas, old e new devem ser criadas no diretório atual e todos esses arquivos devem ser movidos de acordo com a condição descrita.

RESULTADO

old
├──2014-12-15_T921_F1256.png
├──2018-07_xx54564564T_hfdata.bmp
├──G5481369oldbackup_2018-01-01.txt

new
├──E51651_hf_2018-9-19.jpg
├──hf_oldX56369_15-10-2014.xml

Como posso fazer isso?

    

Answer 1

Uma solução awk pode ser:

awk -F, 'NR>1 { group[$2]= group[$2]? group[$2] "* *" $1: $1 ;next }
    END { 
        for (x in group) printf( "echo mv *%s* -t %s\n" , group[x], x )
    }' infile.csv| sh

Remova echo se você ficou satisfeito com o resultado.

.
├── infile.csv
├── new
│   ├── E51651_hf_2018-9-19.jpg
│   └── hf_oldX56369_15-10-2014.xml
└── old
    ├── 2014-12-15_T921_F1256.png
    ├── 2018-07_xx54564564T_hfdata.bmp
    └── G5481369oldbackup_2018-01-01.txt

isso moverá todos os arquivos pertencentes ao grupo de diretórios relacionado de uma só vez.
sobre a explicação awk , por favor, veja a minha resposta recente .

    

Answer 2

Você pode fazer isso primeiro sed xargs

 sed -e '
       s/","/* /;s/^"/*/;s/"$//;1d
 '   |  xargs -l sh -c 'mv $1 "$2"'  _

Nota: todas as advertências se aplicam ao uso de um pipeline de xargs, e. g. citações, espaço em branco, etc.

    

Answer 3

Em Python:

import csv, os, glob
filenames = []
filedir = 'files'
with open('filelist.csv', 'rb') as f:
    reader = csv.reader(f)
    filelist = list(reader)
filelist.pop(0)

for k, filename in enumerate(glob.glob(filedir + '/*')):
    filenames.append(os.path.basename(filename))

for (id, directory) in filelist:
    matches = [e for e in filenames if id in e]
    for (filename) in matches:
        if not os.path.exists(directory):
            os.makedirs(directory)
        os.rename(filedir + '/' + filename, directory + '/' + filename)

    

Answer 4

Tente isto:

    #!/bin/bash

input_file="$1"
base_dir="$2"
delim=","

while read -r line
do
    id=${line%$delim*}
    group=${line#*$delim}
    mv *"${id}"* "$base_dir//$group"
done < "$input_file"

Este arquivo de entrada do processo de exemplo que não contém a linha de definição (first) e o id, group estão sem aspas