Não sei se isso ajudará, mas o Página de instruções do Eyefinity indica que seus dois primeiros monitores podem se conectar com qualquer saída de vídeo (HDMI e DVI, neste caso), e seu terceiro monitor deve estar conectado via DisplayPort.
Agora, você diz que o terceiro monitor (presumivelmente o conectado através do mini displayport ao conector vga) surgiu em uma resolução estranha. Você não menciona qual resolução é essa, no entanto. A Apple limita a resolução máxima para 1920 x 1200. Acredito que também seja de 60 Hz. Se você está tentando ir mais alto que 1920 x 1200 a 60 Hz, ou maior que 1600 x 1200 a 85 Hz, você pode diminuir a resolução ou a taxa de atualização.