Estou usando o gnu-parallel para executar vários scripts python em paralelo em vários computadores na minha rede gigabit.
Os arquivos que estão sendo processados estão localizados em uma pasta tmpfs (RAM) no meu nó mestre. Quando inicio um processo paralelo, vejo que todos os núcleos no nó remoto estão funcionando, mas meu nó principal permanece inativo.
Aqui está a aparência da minha linha paralela:
parallel --workdir ./netshare --filter-hosts -S :,192.168.88.222\
'myscript.py {.}.shp output_{.}.shp input.shp' ::: tile_{1..445}.shp
Eu tentei inverter a ordem dos endereços IP 192.168.88.222 ,: com o mesmo resultado.
Eu tentei rodar apenas no nó mestre local e, além do aviso de que nenhum nó remoto está disponível, todos os 8 encadeamentos locais começam a funcionar.
Eu pensei que poderia ser latência de rede, mas nenhum script python começou de todo! Considerando que no host remoto vejo quatro executando sem problema.
De acordo com o comentário de Ole, eu testei o problema com o bzip2, aqui está o comando:
parallel -S $SERVER1,: 'cd /path/to/mounted/network/share && cp largefile.avi file{1}.avi && bzip2 -v file{1}.avi && rm file{1}.avi.bz2' ::: {1..100}
O teste funcionou exatamente como esperado. Todos os núcleos de todos os hosts dispararam com cp e depois com bzip. Então, acho que o problema está no meu script python de alguma forma.