Assumindo o NTFS aqui, em cujo caso o limite técnico é de cerca de 4 bilhões de arquivos. E até você ultrapassar 10s de milhares por diretório, você não deve se preocupar muito.
Note, entretanto, que programas como o Explorer sofrem muito mais cedo que 10s de milhares, porque eles tentam acessar todos os arquivos em um determinado diretório para obter meta-dados, etc.