Estou configurando um cluster de computação na AWS. Estou usando cfncluster , que cria um compartilhamento NFS no nó mestre que todos os nós de computação podem acessar. Obviamente, isso pode se tornar um gargalo e eu já vi isso no meu trabalho anterior com o cfncluster. Anteriormente, resolvi isso usando um SLURM prolog que copiou os arquivos de entrada para o nó local e atualizou as referências de tarefa para o caminho NFS para ir para a cópia local. Da mesma forma, redirecionei o caminho de saída do trabalho para um caminho local e incluí uma linha no script do trabalho para copiar o arquivo de saída de volta para o caminho NFS após a conclusão da tarefa.
Acabei de aprender sobre o FS-Cache para NFS hoje. Isso parece que pode substituir a cópia do meu arquivo de entrada, mas somente se eu puder copiar o arquivo inteiro sempre que um programa solicitar uma parte de um arquivo no caminho NFS. Talvez copiar os arquivos de entrada do NFS e excluí-los imediatamente mantivesse o arquivo em cache?
A outra coisa que quero é armazenar em cache o arquivo de saída para que, se o próximo trabalho executado nesse nó precisar desse arquivo de saída, não precise copiá-lo do NFS. Parece que o FS-Cache não armazena em cache as gravações no NFS, então não tenho certeza se isso pode ser feito. Por favor, me ilumine se eu estiver errado!