Você pode executar instâncias X separadas em cada cartão ou até mesmo em cada monitor. O Xinerama precisa estar desligado para isso. Se você executar instâncias X separadas, acho que elas ficarão confinadas à GPU em que estão.
Quanto à delegação de tarefas, isso está ficando muito baixo. Você pode precisar ler em torno de documentos para o kernel. "bom" possivelmente poderia ajudar a apontar na direção certa. Seria legal se 'legal' permitisse que você ditasse onde as coisas correm, mas isso não parece muito provável.
Você pode ser capaz de cortá-lo executando os contêineres do OpenVZ atribuídos a determinados threads de execução. Eu nunca tentei embora. Como usuário, você nunca precisará realmente gerenciar seus recursos dessa maneira. Mas sim, quando eu peguei minha máquina de 8 núcleos, eu também queria brincar com isso um pouco.
Divirta-se!