No antigo UFS, o tamanho do diretório era limitado apenas pelo espaço em disco, já que os diretórios são apenas arquivos que - como outros arquivos - têm um comprimento efetivamente ilimitado. Eu não sei, mas espero que o JFS não seja diferente.
Quanto a quanto é demais, isso me lembra da história do gerente que percebe que quando há mais de 8 usuários na máquina, o desempenho cai drasticamente, então ele pede ao administrador do sistema para localizar o 8 no código. e mude para 16. A questão é que não há 8, é uma propriedade emergente do sistema como um todo. Como saber o quão grande é grande demais? A única maneira prática é adicionar entradas até que demore mais tempo do que você deseja. Esta é obviamente uma abordagem bastante subjetiva, mas não há outra.
Se você deseja armazenar arquivos de 65k +, provavelmente há abordagens melhores dependendo da natureza dos seus dados e de como você deseja acessá-los.