Eu estava classificando um arquivo grande ( 101MB
- sobre 700MB
após descompactar) usando o comando sort no servidor que possui 48 GB de memória. Era o único trabalho pesado que estava fazendo naquele momento. No entanto, notei que tipo criou muitos arquivos temporários. Isso significa que faltava memória RAM?
Ou será que esse tipo sempre cria arquivos? Posso acelerar o processo de classificação passando um sistema de arquivos de pastas montado na RAM com o comando -T
? Eu tentei, mas não notei uma velocidade significativa e estou pensando se eu construí o teste errado ou não estou entendendo o que está acontecendo corretamente.
Este é um comando que eu emiti:
zcat file0.nq.gz | sort
Em cerca de 20 segundos, tenho os seguintes arquivos em /tmp
nuoritoveri@nubis:/tmp[127]$ ls
sortecuGwN sorteKeowj sortGn7dCr sortkdk5Ws sortNb9Khh sortPGTQ6b sortQearCg sortvBB5eS sortZW2mWj
sort1UsQla sortEGauDb sortFMn7bW sortiUDJYd sortlaGUgo sortpEmGb5 sortPQUNQx sortqlb7jh sortxcjjuM
sortaVKeEN sortejgptJ sortgAJJ9l sortJRq2GB sortmQf888 sortpFfWdy sortpv9kO8 sortT52TVQ sortxq8r80
Os arquivos desaparecem quando os comandos são concluídos. Eu também verifiquei o que acontece quando eu não canalizo, mas apenas classifico o arquivo descompactado:
sort file0.nq
Os arquivos em /tmp
aparecem também, mas não uma taxa tão rápida (talvez porque tenha que ler o arquivo por si só).