Verifique nas configurações do seu roteador uma opção para manter a conexão ativa. No meu roteador (Buffalo) está sob: Avançado - > Conexão PPP.
Alternativamente, pode ser algo que o seu ISP faz, embora isso seja improvável. Se você não conseguir encontrar as configurações no seu roteador, dê-lhes um anel e eles poderão ajudá-lo mais do que podemos:)
Edit: desculpe, acabei de perceber que você disse que tinha um modem. Nesse caso eu ligaria para meu ISP, já que seu modem provavelmente não tem uma opção de configuração para isso.