Estou executando uma máquina virtual dentro do Oracle VirtualBox. Aparentemente, o VirtualBox estava pegando o driver de áudio quando um som era tocado e depois não o liberava depois.
Descobri isso reiniciando forçosamente o alsa, que mata tudo que contém o dispositivo de som e vê minha VM ser finalizada.
A solução foi desativar o áudio dessa VM.