Você está passando por uma limitação de largura de banda aqui. Para suportar 2560x1440, você precisa de um cabo DVI de link duplo.
Tanto quanto eu saiba, não há cabo Dual Link DVI para HDMI, portanto, obtenha um monitor que suporte HDMI com o cabo apropriado que suporte alta largura de banda ou use um adaptador.
Por favor, note que a porta de exibição não tem uma versão com essa limitação, por isso sempre funcionará. Se esta é uma opção, a porta de exibição é a opção preferida.
EDIT: Parece que o videocard que você está usando não suporta HDMI com uma largura de banda maior de 1920x1200. (tnx Hennes) Então você terá que substituir ou adicionar um videocard.