Eu tenho o ATI FirePro 2260, que tem 256 MB de RAM de vídeo. O estado das especificações que suporta dois monitores conectados via DisplayPort a 2560 x 1600 cada. Infelizmente, não posso testar, pois não possuo uma tela de alta resolução como essa. Mas não descarte sua placa gráfica simplesmente porque ela tem 256 MB de RAM.
O problema é mais provável que o Dual-link DVI possa conduzir 2560 x 1600 a um monitor, mas o Single-link DVI só pode controlar 1920 x 1200. Então eu suspeito (sem nada para apoiar isso) que o seu cartão coloca todos os seus recursos para a conexão dual-link quando um monitor é conectado. Quando você usa o segundo conector também, o desempenho da placa sofre significativamente e não pode dirigir a resolução mais alta.
Hardware do Tom tinha uma sinopse interessante sobre este cartão:
The Quadro FX 370 is difficult to categorize. At $150 it is remarkably inexpensive for a professional board, but the performance is poor as you's [sic] likely expect. For simple computing tasks without great requirements it can be used, but you should consider whether you are saving money in the wrong area.
Parece que rodar dois monitores em resoluções decentes não é considerado uma "tarefa de computação simples".