Se você controlar o HTML e estiver usando a tag <video> , forneça o atributo preload="none" que, de acordo com o MDN, significa:
none: indicates that the video should not be preloaded
E certifique-se de que autoplay não esteja especificado.
Você também pode nem mesmo criar e inserir a tag <video> até que um clique apropriado aconteça.