Para remover o x11 e tudo o que o utiliza:
apt-get purge libx11.* libqt.*
Eu tenho um servidor VPS, no qual surpreendentemente eu acho pacotes como bluez ou thunderbird-gnome-support ou firefox ou libqt4 .
Eu tenho que listar todos os pacotes como em " Como excluir todos os ambientes de área de trabalho, exceto o Unity? "?
Para remover o x11 e tudo o que o utiliza:
apt-get purge libx11.* libqt.*
Você pode usar o Tasksel É uma ferramenta que instala / remove pacotes de acordo com o tipo de sistema que você precisa.