OK, entendi!
O Ubuntu traz o xserver em muitas versões diferentes. Eu instalei o de 14.04:
apt-get install xserver-xorg-lts-trusty
Isso substitui o xserver e todos os seus drivers (e o kernel ainda não aconteceu). Agora os gráficos Haswell da Intel funcionam.