Eu tive o mesmo problema. O xserver reconheceria a resolução nativa de alguns monitores, mas não de outros. (Eu encontrei este problema quando comprei um novo monitor que ele não reconheceria) É importante notar que o LCD tem uma resolução nativa. Alguns podem escalá-lo para outras configurações, mas o melhor é usar o nativo. (Por outro lado, os CRT têm uma ampla gama de resoluções disponíveis)
Tente este tópico. Foi o truque para mim. Na primeira instrução, quando você está listando modos de resolução disponíveis, você vê o nativo do seu monitor? O mais provável é que não, e é por isso que não permite que você o defina. Siga as instruções lá, e deve funcionar depois.