Essa seria a configuração ideal, mas também depende dos aplicativos que fazem uso das conexões Infiniband e você teria que cuidar que esses aplicativos e seus processos estejam ligados à mesma região de CPU e memória que o adaptador Infiniband é vinculado a. Isso pode ser um pouco complicado.
Ao funcionar, e. Aplicações MPI que fazem uso de todas as CPUs e núcleos de um servidor, você provavelmente terá comunicação QPI de qualquer maneira e duvido que uma segunda placa Infiniband dê uma real aceleração de tal cenário. Também não tenho certeza se, em tal cenário, a pilha MPI pode balancear a carga em ambos os adaptadores Infiniband.
Eu acho que onde você poderia ter um benefício real de tal configuração é, por exemplo, um servidor de armazenamento, no qual os dados chegam através do Infiniband e precisam ser enviados para um adaptador RAID ou SAS. Nesse caso, posso imaginar que o desempenho é mais consistente quando todo o tráfego de dados não precisa cruzar limites de CPU e memória.