Por padrão, xserver-xorg extrai xserver-xorg-video-all , que atrai todos os drivers de vídeo.
Se você souber qual driver é apropriado, poderá instalá-lo junto com xserver-xorg e ele satisfará a dependência alternativa de xorg-driver-video , evitando a dependência xserver-xorg-video-all ; assim, para um Intel IGP:
apt-get install xserver-xorg xserver-xorg-video-intel
Se você quiser ter certeza absoluta de que xserver-xorg-video-all não está instalado, pode usar algo como
apt-get install xserver-xorg xserver-xorg-video-intel xserver-xorg-video-all_
(observe o sublinhado, que instrui apt-get a limpar o pacote).
Para evitar a instalação dos pacotes libdrm* , você precisa evitar libgl1-mesa-dri que depende de todos eles (sem solução fácil, portanto, se você quiser suporte a DRI, precisará das três implementações, a menos que use equivs - mas eles são bem pequenos). xserver-xorg recomenda o pacote, então
apt-get --no-install-recommends install xserver-xorg ...
deve fazer o truque. Esta é uma boa ideia, se você está atrás de uma pequena imagem.