Como posso encontrar imagens inválidas?

Question

Eu tenho um diretório com subdiretórios. Nos diretórios, há muitas imagens rastreadas da Web.

Como faço o loop de todos os arquivos e mostro os arquivos que não são arquivos de imagem válidos?

Não deve ser baseado na extensão de arquivo.

Eu criei este script:

find . -name '*.jpg' -o -name '*.jpeg' -o -name '*.gif' -o -name '*.png' | while read FILE; do
    if ! identify "$FILE" &> /dev/null; then
         echo "$FILE"
    fi  
done

Mas isso não está funcionando, porque também gera imagens valide.

    

Answer 1

Você deve fazer isso verificando as assinaturas de tipo de arquivo. Ele pode ser encontrado aqui , ou você pode encontrá-lo por teste e erro ao verificar seus arquivos.

Por exemplo, a assinatura JPG é FF D8 FF E0 , o que significa que os primeiros quatro bytes devem ser iguais a FF D8 FF E0 .

Tudo o que você precisa é de uma ferramenta para combinar esses bytes com os do arquivo. Como exemplo, hexdump -n 4 -C file.jpg| awk '{print $2 $3 $4 $5}' retorna esses bytes em formato hexadecimal, o que pode ser comparado com a assinatura desejada.

Se os arquivos de imagem que você tem podem estar quebrados, informações avançadas sobre assinaturas e recuperação de arquivos podem ser encontradas aqui . Por exemplo, quando apenas uma fração de uma imagem é baixada.

    

Answer 2

find . -type f \
       \( -name '*.jpg' -o -name '*.jpeg' -o -name '*.gif' -o -name '*.png' \) \
       -exec sh -c '! file -b --mime-type "$1" | grep -q "^image/"' sh {} \; \
       -print

Minha abordagem usa -exec para executar um teste personalizado em arquivos. Uma concha é necessária para construir um tubo. Um shell separado é executado para cada arquivo com a extensão correta, portanto, a solução é bem mal executada.

O shell executa file -b --mime-type e, em seguida, grep verifica se o resultado começa com image/ . ! no início do canal nega seu status de saída, portanto, todo o teste -exec é bem-sucedido se o arquivo não for realmente uma imagem. O caminho é então impresso.

Notas:

1. Omit -name tests para verificar todos os arquivos.
2. Ou talvez você queira usar -iname em vez de -name .
3. -iname não é requerido pelo POSIX. Nem a opção -b nem --mime-type de file .

4. O seguinte produz uma saída ligeiramente diferente e é mais rápido:

   find . -type f \
          \( -name '*.jpg' -o -name '*.jpeg' -o -name '*.gif' -o -name '*.png' \) \
          -exec file --mime-type {} + \
   | grep -v "\bimage/"
   

   mas alguns nomes de arquivos (por exemplo, com novas linhas) ou caminhos (com image/ ) irão quebrar a lógica.