canaliza um arquivo para uma questão de script de processamento lento

Question

Digamos que eu tenha um arquivo muito grande e queira processar todas as linhas desse arquivo, enviando-o para o script.

cat large_file.txt | python processor.py

Não sei bem como funciona a operação acima. O arquivo é iterado, passando cada linha para o processador esperando que o processador termine, depois que o processador terminar, passe a próxima linha. Ou o arquivo inteiro é lido e depois passado para o processador?

Eu realmente espero que seja o primeiro caso.

Obrigado

    

Answer 1

A saída do comando cat é apresentada como STDIN para o script Python. O script Python é responsável pela rapidez e lentidão com que lê essa entrada e se processa uma linha antes de ler a próxima ou lê todas as entradas e, em seguida, inicia o processamento.