Você precisa garantir que todos os PCs e outros dispositivos conectados ao roteador usem o DHCP. A outra coisa é que você precisa garantir que a configuração do DNS seja obtida do roteador.
Embora seja uma captura de tela do Windows 7, o procedimento abaixo funciona para o Windows XP.
Para chegar a essa página, abra as conexões de rede. Clique com o botão direito do mouse no dispositivo de rede e clique em propriedades. Encontre as propriedades do Protocolo da Internet Versão 4 e faça as alterações.
Infelizmente, essa é a maior desvantagem de usar um serviço como o OpenDNS. Um adolescente inteligente pode alterar rapidamente a configuração de DNS e ignorar qualquer proteção ativada no sistema. Você pode bloquear o sistema tornando-o um usuário padrão para que eles não possam alterar essa configuração ou descobrir a que serviço DNS estão se conectando e bloquear no roteador. Espero que isso ajude.