Eu encontrei uma resposta que funcionou para mim com um problema semelhante.
Alterando default-fragment-size-msec
para 5 em vez do padrão 25 em /etc/pulse/daemon.conf
(no Ubuntu 16.04, pelo menos) e reiniciar o daemon PulseAudio ajudou a corrigir o problema para minhas necessidades. Pode valer a pena se você ainda não encontrou outra solução.