Em vez de compilar seu próprio kernel, você pode desativar o polling no momento da inicialização. Edite /etc/rc.local
e adicione esta linha:
echo 0 > /sys/module/drm_kms_helper/parameters/poll
Você provavelmente precisará abrir um relatório de bug para o outro problema.