apt-get remove - Pacotes instalados são removidos (NÃO inclui arquivos de configuração)
Eliminação do apt-get : A eliminação é idêntica à remoção, exceto que os pacotes são removidos e eliminados. Purge, o que significa que quaisquer arquivos de configuração também são excluídos.
Fonte: link
Se o Kali não conseguir encontrar o pacote, ele nunca será instalado corretamente. Talvez você tenha um erro durante a instalação. Kali está simplesmente dizendo: "yo mano, esse pacote não existe em todo o seu disco. Então, como eu deveria deletá-lo." (Na minha cabeça, o Linux está falando com um novo sotaque de jersey :))