Muitas outras dependências também entraram quando você executou sudo apt-get install texlive . Quando você executou o comando apt-get remove , apenas o pacote texlive foi desinstalado, não suas dependências.
Você pode remover facilmente essas dependências extras desnecessárias executando:
sudo apt-get autoremove