Eu encontrei a solução. Vou escrever aqui para quem pode ter o mesmo problema.
Minha sessão do gdm3 estava sendo executada no wayland. Para verificar:
$ loginctl
SESSION UID USER SEAT TTY
2 1000 velix seat0 tty2
c2 1000 velix
c1 120 gdm seat0 tty1
O comando loginctl show-session <session-n> -p Type
mostra o tipo de sessão:
$ loginctl show-session c1 -p Type
Type=Wayland
Para alterá-lo, edite o arquivo /etc/gdm3/custom.conf
e descomente a linha WaylandEnable=false
.
Após a reinicialização:
$ loginctl show-session c1 -p Type
Type=x11
Agora, a inclusão de drivers nouveau na lista negra em /etc/modprobe.d/blacklist.conf
(como na pergunta) funciona e não apresenta o erro acima.
O ponto chave é executar o xorg em vez de um wayland
(É por isso que estava trabalhando no meu 17.10 Ubuntu, forçado a rodar o xorg)