Estou trabalhando em uma nova plataforma MPI, mas isso não funcionará nesse cenário, porque até agora eu entendo que você tem muito shared memory .
Talvez possa ajudar você openmp com multithreading para local parallelism e, de acordo com minha experiência, para o paralelismo através de network , OpenMPI é a melhor escolha e bem documentada para linux distributions .
P.S. Você poderia descrever mais os requisitos de paralelismo?