Eu tenho um pipeline que é lançado usando um comando. Por algum motivo de administração / servidor, essa ferramenta deve ser iniciada a partir de um nó. Essa ferramenta aciona todas as etapas do meu pipeline em um arquivo chamado pipeline.steps. Então, o que eu faria é
$ qsub -I
$ cd /path/to/my/tool/
$ ./launch-pipeline pipeline.steps
O problema é que algumas etapas precisam ser paralelizadas em nós diferentes. O conteúdo do arquivo de pipeline.steps se parece com isto:
step1:
write_pbs_script ${NAME}.pbs
qsub ${NAME}.pbs
setp2:
continue...
Como eu já estou lançando o pipeline de um nó, usar qsub para ganhar os recém criados pbs scripts obviamente falhará. Como posso gerenciar o lançamento de meu pipeline em um nó e, a partir desse nó, despachar novas tarefas para nós diferentes?