Rygel parece usar um buffer de tamanho 64K que não pode ser configurado. ( source ) Isso significa que, mesmo sem compactação, provavelmente são 1,5 segundos ( estéreo) a 3,0 segundos (mono) atraso simplesmente preenchendo os buffers. Provavelmente muito mais atraso se utilizar técnicas de compressão que reduzam drasticamente o tamanho das amostras de áudio, por exemplo. você pode ajustar 5+ segundos de áudio em um buffer de 64K.
Você pode tentar desativar a compactação como solução alternativa.
Também é possível modificar o buffer de 64 K tamanho na fonte e recompilar.