E corrigido!
Ao olhar em volta, surgiu o problema quando instalei o GDM para lidar com logins, que, claro, tem o Gnome conectado a ele, o que, por sua vez, requer o Pulseaudio. Isso configurou meu dispositivo padrão para o Pulseaudio, que estragou tudo.
O que eu fiz para resolver o meu problema foi editar /etc/pulse/daemon.conf
. Descomente a seguinte linha default-sample-rate = 42100
e mude a taxa de amostragem para 48000. Se alterar a taxa de amostragem é uma correção ou não, não tenho certeza, mas essa é uma das coisas que fiz.
Também desativei o "Agendamento Baseado em Timer" do Pulseaudio editando /etc/pulse/default.pa
e adicionando tsched=0
à linha a seguir, load-module module-udev-detect tsched=0