Você pode adicionar o modo monitor com xrandr
xrandr --newmode "1280x800_60.00" 83.50 1280 1352 1480 1680 800 803 809 831 -hsync +vsync
Em seguida, você poderia adicionar o modo ao xrandr com a saída (meu exemplo VGA1, se você estiver usando diferente, você deve escrever o nome whics),
xrandr --addmode VGA1 "1280x800_60.00"
Em seguida, selecione nova resolução na janela Exibir ou use xrandr,
xrandr --output VGA1 "1280x800_60.00"