Eu tive o mesmo problema. Eu estava usando um dongle bluetooth, e funcionou bem (Ubuntu 15.10). Então começou a me dar atrasos de áudio e problemas de sincronização.
Ocorreu-me que eu também tinha começado a usar um novo drive usb na porta ao lado do dongle bluetooth. Quando movi o dongle para o outro lado do meu laptop, o atraso parou.
Não tenho certeza se foi a unidade USB que causou as interrupções, mas alterar as portas resolveu o problema. Não encontrei outras soluções na minha pesquisa.