Primeiro, você deve saber o nome dos seus dispositivos de saída. Para fazer isso, execute isto na linha de comando:
xrandr --listmonitors
Você terá algo assim:
Monitors: 2
0: +*HDMI-0 1920/510x1080/290+0+0 HDMI-0
1: +VGA-0 768/203x1024/271+1920+0 VGA-0
Em seguida, você executa xrandr com o nome correto. No meu caso:
xrandr --addmode VGA-0 1656x900_60.00