md5sum
não possui limitação de arquivos de soma de verificação ou número de arquivos, mas talvez o problema seja que md5sum
não pode manipular subpastas.
Tente instalar o md5deep
, que permite criar uma soma de verificação para subpastas recursivamente e funciona sem problemas com um grande número de arquivos.