Os jogadores utilizam caches para ocultar problemas de conectividade dos usuários; é provavelmente de onde vem o atraso. Verifique as configurações do seu player para ver se você pode ajustar o tamanho do buffer.
Quanto ao atraso crescente, isso pode ser causado pela falta de largura de banda. Você deve ativar o registro em seu player e ver se ele faz uma pausa para aguardar o preenchimento do cache. Em caso afirmativo, você terá que descobrir onde a largura de banda está faltando (pode ser que o servidor não tenha upstream suficiente ou o cliente não tenha downstream suficiente) e, em seguida, aumente a largura de banda ou diminua o bitrate.