A questão está no cabo. Este cabo é um cabo DVI-D Dual Link com uma resolução máxima de 2048x1536.
Por favor, veja a seguinte imagem para mais informações sobre os tipos de cabos.
Você precisará graduar sua placa gráfica para usar o HDMI 1.3, 1.4 ou DisplayPort, bem como o monitor para obter o que deseja.
A resolução nativa do seu monitor é 2560x1440. Você define a resolução personalizada para 2560x1440 nas configurações da nVidia. O cabo que você está usando não pode suportar isso e o computador sabe disso. O que acontece agora é que os pixels são agrupados e simulam essa resolução, mas na verdade não usam todos os pixels. É por isso que parece borrada / macia.
Sua placa gráfica possui uma porta HDMI. Seu monitor tem uma porta HDMI. Use um cabo que seja HDMI para HDMI em vez desse cabo híbrido.