Eu me lembro de fazer algo alinhado com o que você está perguntando ... depois de algumas iterações diferentes, o que resolveu meu problema em particular foi pegando a instalação principal / completa, então olhando o tamanho de vários pacotes. e removendo as coisas que realmente ocupavam um bom espaço e eu sabia (ou pelo menos pensava) que eu não ia usar.
Minha necessidade particular era tentar diminuir a instalação um pouco em termos de tamanho de disco. Há claramente outras coisas que você poderia fazer, como remover módulos de kernel não utilizados ou desnecessários, mas sem saber exatamente quais partes do sistema que você está tentando "perder peso", é difícil ajudar mais.
Eu usei esse pequeno liner para identificar o que estava instalado e, em seguida, o classifiquei por tamanho, para que eu pudesse saber o que fazia sentido segmentar:
dpkg-query -W --showformat='${Installed-Size;10}\t${Package}\n' | sort -n
Para identificar de forma semelhante os módulos maiores do kernel, você pode usar este:
lsmod | awk '{print $2, "\t", $1}' | sort -n