Is this a problem with my ISP or my router?
Sim, é mais provável que seja um problema com o seu ISP ou com o seu router. Também pode ser um problema com seus computadores, mas isso é menos provável, embora você possa ter configurado todos eles da mesma maneira.
O uso de ferramentas de diagnóstico como tracert
(Windows) ou traceroute
(Unix / Linux) ajudará você a descobrir onde está o problema.
How do I fix it if it's my router?
A maneira como você conserta depende da marca e do modelo do roteador. Tenho certeza de que você receberá conselhos específicos se fornecer detalhes adicionais sobre o equipamento usado, o sistema operacional de seus computadores, as mensagens de erro exibidas e os detalhes da rede (o roteador usa o DHCP para fornecer configurações aos computadores?) / p>
Teste o traceroute e atualize sua pergunta com os resultados e detalhes adicionais.