Se você está se referindo a drivers de exibição que vêm com o xorg, por exemplo
xserver-xorg-video-apm
xserver-xorg-video-ark
xserver-xorg-video-ati
xserver-xorg-video-ati-dbg
xserver-xorg-video-chips
xserver-xorg-video-cirrus
xserver-xorg-video-displaylink
xserver-xorg-video-dummy
xserver-xorg-video-fbdev
...
Você pode remover alguns deles com apt-get remove <driver_name> , se quiser, mas eu não recomendaria. Eles estão lá caso você mude seu adaptador de vídeo e eles não ocupam muito espaço.
A remoção de um deles também remove xserver-xorg-video-all , que é o metapacote que contém todos os drivers de exibição que acompanham o xorg. Isso não deveria causar nenhum problema, mas eu ainda jogaria pelo seguro e deixaria isso em paz.