Parece que você tem o arquivo ISO original gravado na caneta, portanto, quando você carrega o pen drive, os arquivos ISO originais são descompactados / descompactados. Isso significa que não importa quais atualizações você faça na caneta, ela não será salva no arquivo original sendo descompactado / descompactado e suas alterações serão perdidas quando você recarregar o pen drive.
Uma solução para isso seria instalar o Kali Linux na própria caneta, em vez de apenas gravar uma imagem ISO nela.