Tipo:
cvt 1280 1024 60
Veremos algo como:
Modeline "1280x1024_60.00" 109.00 1280 1368 1496 1712 1024 1027 1034 1063 -hsync +vsync
Copie esta linha, exceto a parte Modeline
Transmita este texto copiado para xrandr --newmode
da seguinte forma:
xrandr --newmode "1280x1024_60.00" 109.00 1280 1368 1496 1712 1024 1027 1034 1063 -hsync +vsync
Adicione o novo modo ao dispositivo adequado (no meu caso, VGA1. Encontre isso via xrandr)
xrandr --addmode VGA1 "1280x1024_60.00"
Agora você verá a nova resolução sobre as opções de resolução.
Eu escrevi um tutorial mais detalhado aqui: link