Eu tentei novamente depois de alguns meses e encontrei a solução, e decidi postar aqui, já que o mesmo problema poderia afetar outra pessoa e a pergunta ficou com um upvote nesse meio tempo.
Basicamente, o problema era que a configuração do "relógio" do monitor estava desligada e falhando ao se auto-ajustar com a função de ajuste automático.
Solução passo a passo que funcionou para mim:
-
Defina a resolução desejada no aplicativo Configurações do NVidia X-Server.
-
Pressione o botão de ajuste automático no monitor.
-
Procure a configuração "relógio" no menu de configurações do monitor e comece a reduzir seu valor. Meu monitor não permitiu que fosse reduzido abaixo de um limite (foi definido em 50 e não poderia ir abaixo de 0). Se o seu monitor permitir que você reduza o valor do relógio o quanto for necessário, não siga as etapas abaixo.
-
Pressione o botão de ajuste automático novamente, e coloque o valor do clock nas configurações para 50 novamente sem definir a imagem de volta ao estado inicial esticado para mim.
-
Reduza o valor da configuração do relógio novamente.
Se ainda não for suficiente (como foi no meu caso, já que a imagem ficou muito esticada), repita os passos 4 e 5 até que a imagem caiba na tela.