Você pode estar atingindo os limites de latência de seu hardware quando o pulso está "ocupado".
configuration: driver=snd_hda_intel latency=0
Não existe realmente latência zero. Eu presumo que isso significa sub-milissegundo.
Por esse link Definindo a variável env PULSE_LATENCY_MSEC = 10 antes de iniciar um aplicativo. Isso dá ao software 10ms de tempo de buffer se tiver mais trabalho para fazer fluxos de mixagem.
10ms ainda é latência baixa o suficiente, a menos que você esteja tocando instrumentos digitais de música ao vivo ou jogos muito rápidos.