Você pode verificar o log em /var/log/Xorg.0.log para ver qual driver está sendo carregado. Por exemplo:
[ 11.865] (II) intel: Driver for Intel Integrated Graphics Chipsets: i810,...
[ 11.865] (II) VESA: driver for VESA chipsets: vesa
[ 11.865] (II) FBDEV: driver for framebuffer: fbdev
[ 11.865] (++) using VT number 7
[ 11.866] (II) Loading /usr/lib/xorg/modules/drivers/intel_drv.so
Você também pode usar o comando lspci -v e procurar pelo Controlador VGA.