Eu sei de fato que sua primeira teoria (cartão não aceita conexões DVI + VGA executando resoluções diferentes) não é verdadeira. Minha outra metade tem um AMD 6750 rodando um monitor 1920 * 1080 via DVI, e o outro rodando um 1280 * 1024 através de um adaptador DVI para VGA.
Já experimentou o monitor VGA sem o monitor DVI ligado ao mesmo tempo? Você consegue alguma saída no monitor VGA? Pode ser que o monitor VGA simplesmente não esteja funcionando.
Você tem algum outro adaptador DVI para VGA disponível? Alguns podem não ser confiáveis e eu tive alguns que simplesmente não funcionaram.
Para testar se a placa gráfica está funcionando naquela porta, basta trocar as portas nas quais seus monitores estão conectados, a placa deve redetectar o (s) monitor (es) para você sem problemas e sua tela deve reaparecer.