Depende do seu sistema de arquivos e de como ele gerencia os diretórios, mas os sistemas de arquivos modernos (incluindo o ext4) terão uma estrutura de diretório indexada; então, acessar um arquivo nesse diretório deve ser bastante rápido, haja um ou um milhão de arquivos nesse diretório.
Haverá alguma variação, mas não o suficiente para realmente importar.
Obter uma lista dos arquivos no diretório é outra questão, já que toda a árvore de índice precisa ser percorrida.