Remova o que foi extraído com o comando rm . Normalmente eu acredito que você precisa de rm de um diretório e todos os arquivos da extração estarão dentro desse diretório.
Um arquivo tar em si não é removido para que você sempre possa refazer o extrato. Embora ... o que você diz aqui provavelmente significa que você tem um arquivo tar que não está completo ou não foi baixado corretamente.
Para ajudar mais, precisamos do comando real usado e avisos de erro.