Existem várias possibilidades.
O mais provável é que haja outro dispositivo que esteja usando a mesma frequência e removendo a largura de banda disponível por curtos períodos. Isso pode ser qualquer coisa, desde um micro-ondas a monitores de bebês, até outros dispositivos WIFI.
Também é possível que algo na rede esteja causando um aumento de tráfego na rede Wi-Fi e consumindo a largura de banda.
Também pode ser que os dispositivos precisem (brevemente) enviar muitos pacotes - possivelmente até pequenos - e o roteador não consegue lidar com o volume de pacotes e os está enfileirando.
É improvável que o problema esteja relacionado a problemas de endereço IP ou roteamento.