Sim e não.
Os fluxos não devem ser recodificados entre servidores, mas sim copiados. Codificação é uma frase única. Caso contrário, a qualidade se degradaria a cada recodificação.
Dito isto, é provável que a sua ligação ao servidor do qual está a transmitir esteja atrasada ou à sua ligação à Internet em si ou até ao seu CPU. Especialmente se você estiver em um fluxo de alta qualidade e sua CPU não puder acompanhar, ela também aparecerá como atraso.
Mas, dito isso, eu realmente vi alguém postar um vídeo no youtube de um show que eles gravaram fora do cabo deles e eles ficaram lentos, então o show em si deu esse círculo, e foi na gravação. Você pode testar isso parando o programa. Se o círculo parar de girar, estará na gravação. Se não parar de girar ou desaparecer completamente, é um problema de conexão.