(1) Antes de usar o xrandr, use cvt para gerar um Modeline com a resolução desejada e frequência. Por exemplo ...
$ cvt 1280 1024 60.09
O resultado será algo como ...
# 1280x1024 60.03 Hz (CVT) hsync: 63.81 kHz; pclk: 109.25 MHz
Modeline "1280x1024_60.09" 109.25 1280 1368 1496 1712 1024 1027 1034 1063 -hsync +vsync
(2) Agora, este é o novo modo que você deve criar usando o xrandr ...
xrandr --newmode "1280x1024_60.09" 109.25 1280 1368 1496 1712 1024 1027 1034 1063 -hsync +vsync
(3) Em seguida, adicione seu novo modo usando xrandr ...
xrandr --addmode VGA1 1280x1024_60.09
(4) Finalmente, teste-o ...
xrandr --output VGA1 --mode 1280x1024_60.09
(Certifique-se de que o dispositivo de exibição de saída, como VGA1, seja o seu dispositivo correto, conforme mostrado nas Configurações de exibição do Ubuntu).