Claro, você pode compactar o arquivo e calcular sua soma de verificação.
tar -c -O directory/ | md5sum
Se você quiser a soma de verificação de conteúdo, também pode tentar
find -s somedir -type f -exec md5sum {} \; | md5sum
Realmente depende do que você quer fazer ...