Eu não tenho a resposta definitiva para este problema, mas eu experimentei um problema semelhante com os links do sistema follow habilitado no arquivo smb.conf.
Quais são as especificações da máquina que você está usando? (Duvido que isso tenha um efeito maior)
Você já tentou usar uma ferramenta de monitoramento do sistema como Glances para assistir ao desempenho do seu servidor como você acessa essas pastas, um bom guia para instalação pode ser encontrado em Esta resposta .
Se você adicionar seu arquivo smb.conf na sua pergunta original, ele poderá fornecer mais informações (por favor, tire todos os comentários padrão se você for fazer isso)