Você pode tentar gerar a modeline com
cvt [width] [height] [hz]
Em seguida, crie o modo com
xrandr --newmode [part of modeline after word Modeline]
E finalmente selecione-o com
xrandr --addmode [newmode]
Desculpas, se você já fez tudo isso, não ficou óbvio pelo que você postou.