Eletricamente você seria capaz de conectar um monitor ao DP em seu R9 e um ou dois monitores no topo do cartão Matrox. O único problema que você pode encontrar são os drivers.
No Windows XP e mais antigo, você tinha apenas um único driver gráfico.
A partir do Vista (e isso inclui o win8), você poderá executar vários drivers e usar ambos os cartões. Eu escrevo especificamente deve uma vez que houve incompatibilidades em drivers.
É claro que você também pode substituir completamente a placa R9 pela placa Matrox e conectar os dois monitores da porta de exibição, embora ambos usem a GPU na placa Matrox e eu suspeito que você queira usar a R9 para jogos. Nesse caso: Por favor, perceba que o monitor conectado ao R9 pode ser muito mais rápido que o monitor conectado ao cartão Matrox.