Existem algumas maneiras. Eu percebo que você já fez o download de drivers proprietários. No entanto, há uma chance de que você possa fazer o download de drivers de suporte já testados e da comunidade.
Você pode primeiro tentar executar Additional Drivers
( System Settings -> Software Updates -> Additional Drivers
).
Provavelmente, você encontrará vários drivers, um dos quais pode resolver seu problema estendido do 800X600.
Para executar a instalação do driver baixado, você pode parar o X11 no ubuntu pressionando Ctrl ALT F1 então faça o login e execute:
$ sudo service lightdm stop
ou
$ sudo stop lightdm
Em seguida, continue a executar seu programa de instalação baixado.