Você está preocupado com o espaço em disco ou o desempenho?
Você pode se livrar do TeX sem problemas, e há muitas coisas em bibliotecas, redes e assim por diante que você provavelmente não precisará.
Mas seria mais seguro fazer uma instalação completa e depois aparar as coisas que você sabe que não precisará; lembre-se de que não há verificações de dependência com as ferramentas de pacote, por isso não vai impedi-lo de se entupir de qualquer forma.