Eu costumo zipar o arquivo ao mesmo tempo usando o parâmetro 'z' com o comando tar:
tar czvf allmyfiles.tar.gz *
O comando acima cria um novo arquivo chamado allmyfiles.tar.gz que contém todos os arquivos na pasta atual e fecha-o.
Caso contrário, basta excluir o arquivo .tar com o próximo comando:
$rm $tarname.TAR
Note que .tar.gz é mais comumente usado que .tgz.