Eu não acho que exista um limite "por pasta". Deve ser o mesmo que o limite absoluto de arquivos por volume NTFS : 2 ^ 32 - 1 . Isso exigiria setores de 512 bytes e um limite máximo de tamanho de arquivo de um arquivo por setor.
Realisticamente, você precisa calcular um tamanho de arquivo médio realista e aplicar esses princípios a esse tamanho de arquivo. Então, eu não ficaria preocupado, já vi pasta com muito mais que 5000 arquivos. Mas se você quiser abrir uma pasta desse tipo no Windows Explorer, poderá ter que esperar por alguns minutos. Considere o uso de ferramentas de linha de comando para acessar essa pasta.
Aqui está um link interessante em Technet: Como funciona o NTFS