Você está usando seu roteador como um servidor DNS. Essa é uma configuração padrão comum para roteadores. Você descobrirá que pode alterar as configurações no roteador para que ele anuncie configurações DNS diferentes para os clientes DHCP.
Tente alterar seu PC primeiro para usar manualmente um DNS diferente. Experimente o Google ou o OpenDNS. Se isso funcionar, tente usar o DNS do seu IPS diretamente. Se isso também funcionar, seu roteador está com dificuldades para acompanhar, não é incomum em roteadores domésticos.