Você pode conectar 3 monitores, mas um deles será desativado. O objetivo de ter as 3 portas é oferecer opções, para que você possa escolher entre usar DVI ou HDMI. Esta é uma citação do tópico nos fóruns da NVIDIA quando alguém perguntou sobre vários monitores na GTX 480
For graphics cards which have a single GPU onboard like the Geforce GTX 480 or 470, only two displays can be active at the same time even if the card has three physical monitor connectors. Some cards like the older version of the Geforce GTX 295 have two GPUs onboard and three display connections, two DVI and one HDMI. The first two ports, the two DVI ports are connected to the first GPU and the HDMI port is connected to the 2nd GPU. So in this case, three monitors could be supported as long as the card wasn't set to "multi-GPU" mode. But for pretty much every NVIDIA graphics card, you will only be able to activate two monitors at the same time.
Esta é uma limitação de hardware. Eu sugiro comprar um cartão mais barato como um GT 220 e colocar isso para adicionar mais monitores.