Bem, como sempre, eu consegui descobrir o problema, que foi (a) que, enquanto nvidia-settings declarou a tela em 2560x1600 não era, ele estava rodando a 1280x1600 (o OSD fornece isso), daí o efeito de fonte esmagado.
A solução é simples, use o cabo DVI mais grosso fornecido na caixa, aparentemente faz toda a diferença, agora a res reporta corretamente no OSD.