Sempre que você monta e / ou abre um diretório, os metadados são alterados. Dados como "número de montagens", talvez até tempos de acesso, etc., são gravados no sistema de arquivos, o que, por sua vez, altera o md5sum do cartão.
Se você fizer um md5 apenas nos arquivos que residem no cartão, eles deverão permanecer os mesmos.