nomodeset desativa as configurações do Kernel Mode (KMS).
Isso significa que o servidor X cuida dos gráficos - "driver X" é enganoso na minha opinião.
A sessão X é iniciada pelo seu gerenciador de exibição, por exemplo, para o GDM:
/sbin/init (raiz) - > /usr/sbin/gdm (raiz) - > gdm-session-worker (raiz) - > /usr/lib/gdm/gdm-x-session (seu usuário)
O X Server ou o "kernel" determina as informações necessárias, não um BIOS ou algo semelhante.