O desempenho desse comando 'grep' ou 'zgrep' se beneficiaria de mais memória ou de uma CPU mais rápida?

Question

Eu tenho os seguintes comandos:

time grep -F -f 'in2.txt' test.fastq
time zgrep -F -f 'in2.txt' test.fastq.gz

Existem cerca de 30 termos de pesquisa em arquivos com ~ 5 GB. No entanto, percebo que em um computador leva mais de 3 a 5 vezes para terminar a pesquisa, isso é em um spinup da Amazon. Assim eu estou querendo saber o que está impactando a velocidade? Devo fazer um ECS com mais memória ou melhor velocidade de CPU?

    

Answer 1

CPU e E / S. Se você estiver procurando por um conjunto de termos pequeno (30 é bem pequeno), é mais provável que você esteja ligado a E / S e, possivelmente, seja vinculado à CPU. Você não será ligado à memória.

[IMHO]

A resposta certa, claro, é testá-lo. Você pode fazer isso de várias maneiras, incluindo ter dois terminais abertos e executando o 'dstat' enquanto executa o comando em questão. Se levar alguns segundos para ser concluído, você deve ter uma ideia de quais recursos estão maximizados (para 100% ou para algum valor estável) e quais não são.