os dados do EDID retornados pelo seu monitor não estão corretos. Esses dados são como o monitor comunica suas configurações preferenciais à placa gráfica.
Existem várias maneiras de corrigir isso:
experimente um cabo diferente - se você tiver outro vale a pena tentar, tente também o cabo em outro sistema.
defina as configurações do seu monitor no seu xorg.conf - adicione uma seção do monitor e especifique as taxas de atualização, as modelines não ajudarão aqui.
forneça um EDID em um arquivo - se você tiver acesso a outro desses monitores, poderá salvar o EDID em um arquivo e citá-lo no seu xorg.conf.