Adicionando o md5sum ao arquivo, o md5sum do conteúdo do arquivo é alterado. Mais usual é manter o md5sum em um arquivo separado ou alterar o nome do arquivo para incluir o md5sum:
mv abc.tar abc.tar.$(md5sum abc.tar | cut -d ' ' -f 1)
Existem arquivos que armazenam uma soma de verificação no arquivo (em algum lugar no cabeçalho ou no final). Isso depende do programa que verifica isso para saber onde está a soma de verificação e não a incorpora ao calcular a soma de verificação em si.
Você não deve usar IMO -t em um arquivo .tar
.