Como encontrar arquivos ausentes entre um período específico?

Question

Eu quero navegar por todos os arquivos em uma pasta e descobrir o arquivo que está faltando para uma data específica.

Os arquivos são particionados por hora e o nome do arquivo tem yyyy-mm-dd-hh formatação.

Assim, entre 2017-07-01 e 2017-07-02 , haverá 24 arquivos de 2017-07-01-00 a 2017-07-01-23

Como posso encontrar o arquivo por hora ausente se eu passar as datas acima como data de início e de término?

Aprecie qualquer entrada!

    

Answer 1

# presuming that the files are e. g. template-2017-07-01-16:

# To test a given date
for file in template-2017-07-01-{00..23}; do
  if ! [[ -f "$file" ]]; then
    echo "$file is missing"
  fi
done

# To test a given year
year=2017
for month in seq -w 1 12; do
    dim=$( cal $( date -d "$year-$month-01" "+%m %Y" | awk 'NF { days=$NF} END {print days}' )
    for day in $(seq -w 1 $dim); do
        for file in template-${year}-${month}-${day}-{00..23}; do
           if ! [[ -f "$file" ]]; then
             echo "$file is missing"
           fi
        done
    done
done

    

Answer 2

Em um sistema GNU:

#! /bin/bash -
ret=0
start=${1?} end=${2?}
t1=$(date -d "$start" +%s) t2=$(date -d "$end" +%s)

for ((t = t1; t < t2; t += 60*60)); do
  printf -v file '%(%F-%H)T' "$t"
  if [ ! -e "$file" ]; then
    printf >&2 '"%s" not found\n' "$file"
    ret=1
  fi
done
exit "$ret"

Observe que no dia da mudança para o horário de inverno (em fusos horários que implementam o horário de verão), você poderá receber uma mensagem de erro duas vezes se um arquivo estiver faltando na hora do comutador. Corrigir $TZ para UTC0 se você quiser 24 horas por dia para cada dia (por exemplo, se o que criar esses arquivos usar a hora UTC em vez da hora local).

    

Answer 3

Que tal um comando como abaixo:

 grep -Fvf <(find * -type f \( -name "2017-07-02-00" $(printf " -o -name %s" 2017-07-02-{01..23}) \)) \
           <(printf "%s\n" 2017-07-02-{00..23})

ls
2017-07-02-01  2017-07-02-06  2017-07-02-08  2017-07-02-14  2017-07-02-19
2017-07-02-04  2017-07-02-07  2017-07-02-11  2017-07-02-15  2017-07-02-22

A saída após o comando foi executada:

2017-07-02-00
2017-07-02-02
2017-07-02-03
2017-07-02-05
2017-07-02-09
2017-07-02-10
2017-07-02-12
2017-07-02-13
2017-07-02-16
2017-07-02-17
2017-07-02-18
2017-07-02-20
2017-07-02-21
2017-07-02-23

Acima estamos gerando todas as possibilidades de 24 arquivos usando printf e passamos para find its -name parâmetro que printf também ajuda ela, então com grep comando estamos imprimindo esses arquivos existem em nosso padrão mas find não os encontrou.

    

Answer 4

Uso: ./diff_date.sh 2017-08-30-00 2017-09-02-00

#!/bin/bash

# This processing is needed, because 'date' require 2017-08-30 00 format,
# not 2017-08-30-00. So, last dash is replacing by space in here.
start=$(sed 's/-/ /3' <<< "$1")
end=$(sed 's/-/ /3' <<< "$2")

while [[ "$start" != "$end" ]]; do
    # Returns dash back to its place and checks - does this file exist. 
    if [ ! -f "${start/ /-}" ]; then 
        echo "${start/ /-}"
    fi  
    # Performance of this code can be improved, by calling 'date' only when
    # day is changing, not the every hour.
    start=$(date -d "${start} + 1 hour" "+%F %H")
done

Teste:

# make files
$ touch 2017-08-{30..31}-{03..23}; touch 2017-09-{01..02}-{03..23}
$
$ ./diff_date.sh 2017-08-30-00 2017-09-02-00
##### Output - missing files. #####
2017-08-30-00
2017-08-30-01
2017-08-30-02
2017-08-31-00
2017-08-31-01
2017-08-31-02
2017-09-01-00
2017-09-01-01
2017-09-01-02

    

Answer 5

Por que não usar o egrep? você pode então regexar do jeito que você quiser.

 egrep (2017-07-0[1-2]-\d\d$) *file name here*| tail     

regex pode ser um pouco desculpe.