Paralelo GNU: script de inicialização em cada nó

1

Existe uma maneira de executar um script de inicialização (ou desmontagem) em cada nó ao usar o GNU Parallel?

Por exemplo, desejo distribuir (e balancear) muitas tarefas de thread único entre muitos nós multicore (especificamente usando o PBS para atribuir quais nós, de um cluster HPC compartilhado). Para cada novo nó, é necessário executar alguns comandos de configuração (por exemplo, módulos do ambiente de carregamento) antes de executar as tarefas.

    
por benjimin 29.08.2017 / 03:13

1 resposta

1

Você pode usar --nonall ?

parallel --nonall --slf $PBS_NODEFILE setup.sh

Isso não funcionará se estiver configurando o ambiente. Para isso, você poderia tentar:

env_parallel --record-env
[load the environment]
seq 100 | env_parallel --slf $PBS_NODEFILE --env _ echo do the job
    
por 29.08.2017 / 08:14