É provavelmente uma limitação do seu adaptador. Muitas placas têm um DAC de 400MHz para a saída VGA, que só chega a 2048x1536, aproximadamente. Tente um cabo DVI de link duplo? (Single-link DVI ou HDMI não vai ficar muito acima de 1920x1080, então você vai precisar de um cabo de link duplo.)
Edit: você está usando o adaptador oficial da Apple, ele deve ir até 2048x1536. Isso só vai te dar cerca de 3 milhões de pixels por quadro. Se você quiser 2560x1440, precisa de algo que possa manipular 3,6 milhões de pixels.