Para ter certeza de que isso está vinculado ao seu roteador ou apenas aos computadores, você pode tentar conectar diretamente os dois computadores, sem um roteador no meio.
Dessa forma, você teria certeza se o roteador é a causa ou não.
Você pode encontrar um tutorial aqui , se necessário.