Tudo se resume ao sistema de arquivos na maioria dos casos:
FAT-16: 512
FAT-32: 65,534
O NTFS tem um número máximo de arquivos por volume, não por diretório: 4.294.967.295 (via Satanicpuppy)
ext2: 31,998
ext3 originalmente tinha o mesmo limite em ext2 (31,998). No entanto, se sua distro suportar dir_index, acredito que o único limite é o desempenho da sua máquina com um desempenho deteriorado à medida que o diretório cresce além dos arquivos de 100k.