Em teoria, é possível: primeiro, você deve modificar /etc/X11/xorg.conf
, eu acho que você precisa modificar as coisas na seção "Device" (bem, o Xorg nowdays funciona bem sem o xorg.conf, como você também observou, então o outro A solução é renomear o xorg.conf para que o X não o use).
Mas é apenas a metade da história, a outra parte é o driver do kernel. Eu colocaria "blacklist" no fglrx como um módulo do kernel, por isso não será carregado, quando você não precisar dele: /etc/modprobe.d/blacklist.conf
Eu não tenho uma configuração para a placa ATI dessa maneira, mas tenho similar para a nvidia, para alternar entre o driver binário da nvidia e nouveau (driver de código aberto para placas nvidia).