Que linguagem de script posso usar para automatizar um processo de concatenação e compactação?

Question

Para um projeto que estou fazendo, preciso concatenar e compactar (com zip) muitos arquivos (midi) e comparar seus tamanhos. Eu pensei que deve haver alguma linguagem que me permita fazer algo assim:

1. crie todas as concatenações emparelhadas (ou seja, eu preciso mesclar os arquivos 01.mid e 02.mid e criar o arquivo 0102. *, não importa se é um arquivo midi válido ou não, só quero que ele seja tem a informação de ambos. É uma ótima opção?)

2. compacta todos os arquivos de forma independente (original e concatenada)

3. verifique todos os tamanhos de arquivo e escreva-os em alguma tabela que eu possa importar com o Matlab ou algo assim

Devo usar scripts de bash?

    

Answer 1

Você pode usar o bash scripting, mas para compactação etc. ele depende de outros programas. Você pode ser melhor com o Python ou qualquer outra linguagem de script que possa gerar arquivos CSV para você (embora a sintaxe do CSV não seja necessariamente difícil de gerar), e isso pode fazer a concatenação e a compactação.

Dado este diretório de arquivos (todo comprimento diferente, mas preenchido com o mesmo caractere):

-rw-rw-r-- 1 anthon users   24 Apr 16 15:03 01.mid
-rw-rw-r-- 1 anthon users  254 Apr 16 15:03 02.mid
-rw-rw-r-- 1 anthon users  455 Apr 16 15:03 03.mid
-rw-rw-r-- 1 anthon users   98 Apr 16 15:03 04.mid
-rw-rw-r-- 1 anthon users  444 Apr 16 15:03 05.mid
-rw-rw-r-- 1 anthon users  239 Apr 16 15:03 06.mid
-rw-rw-r-- 1 anthon users  257 Apr 16 15:03 07.mid
-rw-rw-r-- 1 anthon users  128 Apr 16 15:03 08.mid
-rw-rw-r-- 1 anthon users  228 Apr 16 15:03 09.mid
-rw-rw-r-- 1 anthon users  160 Apr 16 15:03 10.mid

e este programa test.py :

#! /usr/bin/env python
# coding: utf-8

import sys
import os
import csv
import bz2

comb_name_map = {}
file_names = []
prev_name = None

# combine the names
for name in sys.argv[1:]:
    if prev_name:
        basename, ext = os.path.splitext(name)
        basename = os.path.basename(basename)
        combi_name = os.path.splitext(os.path.basename(prev_name))[0] + name
        comb_name_map[combi_name] = (prev_name, name)
        prev_name = None
    else:
        prev_name = name

for combi, org in comb_name_map.iteritems():
    file_names.append(combi + '.bz2')
    with bz2.BZ2File(file_names[-1], 'w') as outf:
        for name in org:
            with open(name, 'rb') as inf:
                buf = inf.read()
                outf.write(buf)
                file_names.append(name + '.bz2')
                with bz2.BZ2File(file_names[-1], 'w') as compf:
                    compf.write(buf)

with open('filesizes.csv', 'w') as fp:
    csvf = csv.writer(fp)
    for name in file_names:
        size = os.path.getsize(name)
        csvf.writerow([name, size])

executar como:

python test.py *.mid

Você receberá os seguintes arquivos de saída:

-rw-rw-r-- 1 anthon users 45 Apr 16 15:26 0102.mid.bz2
-rw-rw-r-- 1 anthon users 39 Apr 16 15:26 01.mid.bz2
-rw-rw-r-- 1 anthon users 39 Apr 16 15:26 02.mid.bz2
-rw-rw-r-- 1 anthon users 45 Apr 16 15:26 0304.mid.bz2
-rw-rw-r-- 1 anthon users 43 Apr 16 15:26 03.mid.bz2
-rw-rw-r-- 1 anthon users 39 Apr 16 15:26 04.mid.bz2
-rw-rw-r-- 1 anthon users 44 Apr 16 15:26 0506.mid.bz2
-rw-rw-r-- 1 anthon users 43 Apr 16 15:26 05.mid.bz2
-rw-rw-r-- 1 anthon users 39 Apr 16 15:26 06.mid.bz2
-rw-rw-r-- 1 anthon users 41 Apr 16 15:26 0708.mid.bz2
-rw-rw-r-- 1 anthon users 39 Apr 16 15:26 07.mid.bz2
-rw-rw-r-- 1 anthon users 37 Apr 16 15:26 08.mid.bz2
-rw-rw-r-- 1 anthon users 43 Apr 16 15:26 0910.mid.bz2
-rw-rw-r-- 1 anthon users 39 Apr 16 15:26 09.mid.bz2
-rw-rw-r-- 1 anthon users 39 Apr 16 15:26 10.mid.bz2

e um arquivo filesizes.csv :

0910.mid.bz2,43
09.mid.bz2,39
10.mid.bz2,39
0708.mid.bz2,41
07.mid.bz2,39
08.mid.bz2,37
0304.mid.bz2,45
03.mid.bz2,43
04.mid.bz2,39
0506.mid.bz2,44
05.mid.bz2,43
06.mid.bz2,39
0102.mid.bz2,45
01.mid.bz2,39
02.mid.bz2,39

Verifique se você tem um número par de arquivos .mid . Para incluir os nomes de arquivo e tamanhos originais, basta concatenar o nome para file_names durante o processamento.

    

Answer 2

Sim - o script do bash será capaz de atender aos requisitos. Mas você deve usar qualquer linguagem de script com a qual esteja familiarizado. python, perl são outras possibilidades.