É provavelmente um problema de superaquecimento. Durante a reinicialização, não há demanda para se conectar para usar a Internet, portanto, a NIC do seu PC ou do roteador está esfriando um pouco durante esse período e, em seguida, você está bem novamente.
Eu já vi esse problema muitas vezes, e muitas vezes acabou por ser isso; a correção é realmente fácil - limpe a poeira e certifique-se de que o roteador esteja em uma área que não impeça o fluxo de ar (por exemplo, em uma área tão pequena quanto uma caixa de sapatos impede o fluxo de ar, mas em cima de uma prateleira abrir não impede o fluxo de ar necessário).
A atualização do driver da NIC para a versão mais recente, às vezes, ajuda a resolver esse problema também, mas eu tentei limpar a poeira antes.