Os dispositivos de entrada (e saída) são atribuídos por servidor X, não por tela, portanto, você precisará executar vários servidores X. Basta configurar os servidores X quanto a quais dispositivos eles devem usar explicitamente, e o Xorg vai descobrir o resto.