Você criou uma modeline, por exemplo, com cvt ? Porque esse tipo de erro geralmente está presente se você não o fez.
Um exemplo aqui:
cvt 800 600 60
(largura, altura, atualização)
Um exemplo de saída:
# 800x600 59.86 Hz (CVT 0.48M3) hsync: 37.35 kHz; pclk: 38.25 MHz
Modeline "800x600_60.00" 38.25 800 832 912 1024 600 603 607 624 -hsync +vsync
Você terá algo diferente já que está usando números diferentes, mas apenas copie as informações após a palavra Modeline e as substitua no comando que você tentou antes
Como eu faço aqui
xrandr --newmode "800x600_60.00" 38.25 800 832 912 1024 600 603 607 624 -hsync +vsync
E finalmente (adicionado que DVI-I-0)
xrandr --addmode DVI-I-0 800x600_60.00
E tudo deve funcionar!
Fonte: link