Não é provável. Um diretório não é um local físico no disco. Novos conteúdos para o diretório são colocados no disco com base em seu tamanho e na disponibilidade de espaço livre no disco. O arquivo real do diretório é apenas uma lista desses locais.
No entanto, é muito possível ter muitos itens em um diretório. Quando você ultrapassa algumas centenas ou milhares de itens (dependendo do sistema operacional e do tipo de acesso), o acesso ao diretório pode causar uma grande lentidão. Se o seu diretório tiver mais de algumas centenas de itens, considere adicionar subpastas para minimizar o número em qualquer pasta.
Um pensamento final é que os erros de leitura podem causar uma grande lentidão se não forem tão ruins a ponto de causar uma falha total. Se você suspeitar disso, execute um diagnóstico na unidade e tire seus dados o mais rápido possível, se confirmado.
[Editar] Você mencionou acima que estas são imagens de radiologia. Eu assumo com alguma forma de ID do paciente ou número de série / datestamp como o nome do arquivo. Sugiro que você crie pastas para as primeiras 2 a 3 letras do que quer que denote a identificação e mova os itens para elas. Você pode fazer isso com várias pastas de profundidade e isso fará com que os itens não fiquem mais difíceis do que agora e acelere bastante a indexação de diretórios.
oldfolder
123456
123457
123558
...
55123
55124
...
99345
99346
newfolder
12
34
123456
123457
35
123558
...
55
12
55123
55124
...
99
34
99345
99346