Pelo que descobri, não parece ser o Windows que seria o fator limitante, e sim o driver ou cartões. O Windows de 32 bits definitivamente tem um limite (falta de endereços e tudo isso), mas parece que o 64-bit pode lidar com cartões suficientes para que seja quase impossível atingir um limite no SO.
Eu vi que as placas AMD só podem trabalhar com até 4 em um sistema, mas as pessoas disseram que a NVIDIA não tinha problemas com 8 GPUs de uma só vez. link
Alguém em esta discussão no fórum sugeriu que a NVIDIA tem um limite de 8 cartões, mas que é embutido no driver e não é uma limitação do Windows.
Pelo que li, vou dizer que depende mais do hardware do que do sistema operacional: quantos slots você tem; quão poderoso é o seu processador; Quanta largura de banda disponível, etc. Você pode executar 16 sem uma reclamação do Windows, mas tem problemas com desempenho e bottenecking.