Seu problema é que a resolução da tela é muito alta e sua VGA está atingindo seus limites. Eu tive o mesmo problema com um cartão pci S3 quando usei acima de 1024 * 768. O problema é relacionado ao hardware, você pode tentar aumentar a memória compartilhada no BIOS ou comprar uma placa AGP.