Isso pode ser um número de coisas, a causa mais provável é a força do sinal na conexão sem fio ou um cabo defeituoso se estiver usando fio. Pode até ser um roteador ruim que simplesmente não consegue lidar com alta taxa de transferência.
As outras causas são a E / S lenta em sua máquina, onde ela não pode armazenar em cache / enviar o vídeo com rapidez suficiente - no entanto, ela não deve estar piorando conforme você avança.
Como você está conectado de um dispositivo para outro? Se você estiver usando um roteador sem fio, sem fio para Xbox, eu recomendo que você use apenas um fio temporariamente para descartar um problema com a tecnologia sem fio.