Essa mensagem de erro é do firmware do seu monitor, não do seu sistema.
Aparentemente, quando a caixa DualHead2Go está sendo executada em 3840x1080, ela selecionou uma freqüência de varredura que seus monitores não podem manipular em VGA.
Você sabe que existem adaptadores DVI para HDMI? E cabos, para esse assunto. DVI macho em uma extremidade, HDMI macho no outro, então se você não tiver cabos DVI, pegue esses. Eles também são baratos, já que são apenas "adaptadores de plugue" - nenhum circuito ativo neles. Tente isso.
ADICIONADO: As especificações deste monitor dizem
Frequência Horizontal de Entrada de Sincronização 30 kHz a 83 kHz (Automático) Freqüência Vertical 56Hz a 75Hz (D-SUB), 56Hz a 61Hz (HDMI)
Como ele não fornece taxas de Hsync diferentes para D-SUB (também conhecido como VGA) vs. HDMI, o intervalo "30 a 83 kHz" se aplica a ambos. Portanto, uma entrada HDMI pode não permitir que ele manipule 104,8 kHz.
Além disso, 50 Hz é muito baixo para o Vsync. Eu sugeriria primeiro definir a taxa de quadros para 60 Hz. Isso só vai aumentar a taxa de Hsync embora.
Parece que você definiu o "um monitor realmente grande" para 1920x2160. Eu concluo isso porque 2160 linhas / frame x 50 frames / seg = 108 klines / seg, o que se correlaciona bem com a queixa de monitores de 104,8 kHz. Se em vez disso você estivesse executando 3840x1080, isso seria 54 klines / seg, bem dentro das especificações. Eu ajustaria a taxa vertical para 60 Hz, o que ainda seria apenas 64,8 kHz, novamente dentro da especificação.
Então ... Se o 3840x1080 é oferecido em suas configurações de exibição, tente isso.