Provavelmente não, você não pode usar uma resolução personalizada que seja superior à resolução recomendada.
Para monitores de tela plana, há um limite rígido de quantos pixels estão disponíveis. Ao contrário dos monitores CRT, os monitores de tela plana também usam pixels distintos, portanto o escalonamento (por qualquer coisa que não seja um fator inteiro) produz uma imagem muito feia. Portanto, é recomendável executar uma exibição de tela plana em sua resolução nativa (ou uma fração inteira dela, mas muito poucas se quaisquer resoluções padrão estiverem relacionadas por fatores inteiros a outras resoluções padrão, particularmente em um intervalo que você provavelmente achará útil) .
Como a resolução nativa ou recomendada é também a resolução máxima (você não pode colocar mais pixels lá), isso coloca um limite muito alto na resolução que você pode configurar no software. A tentativa de configurar uma resolução mais alta leva a algum tipo de erro, como o que você está enfrentando.
Os CRTs tinham outros problemas que limitavam a resolução que era possível usar com um tubo específico, mas devido ao design físico deles ser tratado mais suavemente com resoluções mais baixas, para aqueles, a resolução "recomendada" poderia ser (e, se bem me lembro, frequentemente era) menor que a resolução máxima possível.