Bem, esse é um chipset muito antigo - o ATI Mach64GM. Parece que o sistema é pré-2005. Eu sugiro ir ao site da ATI e ver se ele pode detectar automaticamente e instalar os drivers corretos para o Win7: link . O motivo para fazer isso é que não vejo um driver do Win7 para o cartão antigo, mas talvez a detecção automática encontre um que funcione.
Caso contrário, você está preso a usar um driver de monitor genérico, que provavelmente é bom o suficiente de qualquer maneira.
Você pode tentar fazer com que você veja todos os modos de exibição, mesmo que supostamente inválidos: Clique com o botão direito do mouse na área de trabalho, escolha "Resolução de tela". Clique em Configurações Avançadas. Clique em "Listar todos os modos" e veja se a resolução desejada está lá. Caso contrário, clique na guia Monitor e desmarque a caixa para "Ocultar todos os modos que este monitor não pode exibir".
A razão pela qual você está recebendo resoluções muito limitadas é porque o Mach64 é um cartão muito limitado e antigo e, quando foi lançado, 1024x768 foi de alta resolução!