Por que egrep [wW] [oO] [rR] [dD] é mais rápido que grep -i word?

Question

Estou usando grep -i com mais frequência e descobri que é mais lento que o equivalente a egrep , em que correspondemos ao maiúsculas ou minúsculas de cada letra:

$ time grep -iq "thats" testfile

real    0m0.041s
user    0m0.038s
sys     0m0.003s
$ time egrep -q "[tT][hH][aA][tT][sS]" testfile

real    0m0.010s
user    0m0.003s
sys     0m0.006s

O grep -i faz testes adicionais que egrep não faz?

    

Answer 1

grep -i 'a' é equivalente a grep '[Aa]' em uma localidade somente ASCII. Em uma localidade Unicode, as equivalências de caracteres e conversões podem ser complexas, portanto, grep pode ter que fazer um trabalho extra para determinar quais caracteres são equivalentes. A configuração de localidade relevante é LC_CTYPE , que determina como os bytes são interpretados como caracteres.

Na minha experiência, o GNU grep pode ser lento quando invocado em uma localidade UTF-8. Se você sabe que está procurando somente caracteres ASCII, invocá-lo em uma localidade somente ASCII pode ser mais rápido. Espero que

time LC_ALL=C grep -iq "thats" testfile
time LC_ALL=C egrep -q "[tT][hH][aA][tT][sS]" testfile

produziria horários indistinguíveis.

Dito isto, não consigo reproduzir sua descoberta com o GNU grep no Debian jessie (mas você não especificou seu arquivo de teste). Se eu definir uma localidade ASCII ( LC_ALL=C ), grep -i será mais rápido. Os efeitos dependem da natureza exata da string, por exemplo, uma string com caracteres repetidos reduz o desempenho ( que é como seria de esperar ).

    

Answer 2

Por curiosidade, testei isso em um sistema Arch Linux:

$ uname -r
4.4.5-1-ARCH
$ df -h .
Filesystem      Size  Used Avail Use% Mounted on
tmpfs           3.9G  720K  3.9G   1% /tmp
$ dd if=/dev/urandom bs=1M count=1K | base64 > foo
$ df -h .                                         
Filesystem      Size  Used Avail Use% Mounted on
tmpfs           3.9G  1.4G  2.6G  35% /tmp
$ for i in {1..100}; do /usr/bin/time -f '%e' -ao grep.log grep -iq foobar foo; done
$ for i in {1..100}; do /usr/bin/time -f '%e' -ao egrep.log egrep -q '[fF][oO][oO][bB][aA][rR]' foo; done

$ grep --version
grep (GNU grep) 2.23
Copyright (C) 2016 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>.
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

Written by Mike Haertel and others, see <http://git.sv.gnu.org/cgit/grep.git/tree/AUTHORS>.

E, em seguida, algumas estatísticas são cortesia de Existe uma maneira de obter o mínimo, o máximo, a mediana e a média de uma lista de números em um único comando? :

$ R -q -e "x <- read.csv('grep.log', header = F); summary(x); sd(x[ , 1])"
> x <- read.csv('grep.log', header = F); summary(x); sd(x[ , 1])
       V1       
 Min.   :1.330  
 1st Qu.:1.347  
 Median :1.360  
 Mean   :1.362  
 3rd Qu.:1.370  
 Max.   :1.440  
[1] 0.02322725
> 
> 
$ R -q -e "x <- read.csv('egrep.log', header = F); summary(x); sd(x[ , 1])"
> x <- read.csv('egrep.log', header = F); summary(x); sd(x[ , 1])
       V1       
 Min.   :1.330  
 1st Qu.:1.340  
 Median :1.360  
 Mean   :1.365  
 3rd Qu.:1.380  
 Max.   :1.430  
[1] 0.02320288
> 
> 

Eu estou no en_GB.utf8 locale, mas os horários são quase indistinguíveis.