A saída do SGE diminuirá a minha simulação? Em caso afirmativo, quanto?

Question

Estou usando clusters no centro de computação de alta performance da minha universidade, eles estão usando o sistema SGE para fazer o gerenciamento de tarefas. Você pode saber que, por padrão, o SGE gerará dois arquivos: NAME.oXXXXX e NAME.poXXXXX . Eu quero saber se esta saída vai diminuir a minha simulação.

Normalmente, minha simulação levaria algumas semanas, e o arquivo NAME.oXXXXX ficaria muito grande, como vários gigabytes, por isso estou meio que me preocupando que um arquivo tão grande atrase minha simulação.

Alguém tem alguma experiência e, em caso afirmativo, como desativá-la? Na verdade eu faço preciso deste log de saída para verificar meus resultados ocasionalmente.

PS: o armazenamento que estou usando agora não é afs , mas pscratch , portanto não há uso de fsync .

Muito obrigado!

    

Answer 1

Depende de quanto você escreve no log, mas meu palpite é que é uma linha a cada tantos passos, então você não deve se preocupar com isso - a maioria das simulações normalmente dá muito mais passos (cada um sendo milhares de cálculos). ) entre escrever as linhas de registro.

O arquivo de saída .oXXXX é a saída padrão do seu pacote de simulação, que seria gravado no console ( .poXXXX é a 'saída paralela'), portanto a frequência de gravação para eles depende do programa. Então, quanto você escreve inteiramente depende do seu pacote de simulação - consulte o manual para verificar como reduzir a freqüência de saída, se você puder fazer isso. De qualquer maneira, isso deve ter um efeito mínimo na velocidade de sua simulação.