Eu tenho tentado executar um script python em um cluster de computador, mas fico com um erro dizendo que o limite de memória do RSS foi excedido. Eu estou usando este programa para analisar um conjunto de dados que consiste em cerca de 40000 casos. Eu tentei no meu pc para 1000 elementos e parece estar usando uma quantidade muito pequena de memória. A ferramenta do monitor do sistema no Fedora mostra cerca de% 23 de uso de memória para o meu pc, que é equivalente a 1,7 gb (usado principalmente pelo próprio SO) mas, quando eu o executo no cluster, a memória RSS excede 14gb.
Eu não tenho idéia do que está acontecendo e porque há tanta diferença no uso de memória entre meu pc e cluster. Qualquer ajuda é apreciada.
Tags memory-usage memory fedora cluster slurm