Eu resolvi esse problema trabalhando com o jack. Uma vez que eu configurei o jackctl, o problema desapareceu. Uma das maiores ajudas que eu encontrei com o qjackctl é essa aqui wiki do Ubuntu How to JACK Configuration .
Eu acho que isso tem a ver com o Frames / Period. Basicamente este é o buffer para o qjackctl como explicado no wiki. Trabalhar com as configurações neste e em algumas outras configurações ajudou tremendamente.