Estou participando de um curso oferecido por www.statistics.com - Advanced Analytics and Machine Learning com o Hadoop - e leio o material do curso. Eu tropecei na seguinte declaração (ênfase minha):
…because MapReduce is designed to run in a batch-oriented, streaming-off-disk fashion, this presents a number of limitations when performing data analysis that entails iterative processing (including many machine-learning algorithms) or interactive data mining that requires responsive feedback.
Pesquisei no Google o termo "streaming off disk" e não fiquei satisfeito com os resultados da primeira página.
Alguém pode explicar o que significa para um modelo de programação (por exemplo, MapReduce) ser “projetado para rodar em uma… forma streaming-off-disk” e por que esse fato é digno de nota (dado o contexto acima)?
'Disk Streaming' é o processo em que os arquivos são mantidos abertos enquanto você executa várias operações de leitura ou gravação em um loop. O Disk Streaming é usado para economizar memória, reduzindo o número de vezes que uma função interage com o SO para abrir e fechar arquivos.
Para mais referências, leia este artigo " link ".
Tags hadoop