Eu configurei meu site em um vps, o site está funcionando bem, no entanto estou tendo um problema desconhecido com servidores de nomes (?).
Basicamente, não consigo rastrear o site com robôs w3 ou com robôs do Google. W3 diz que é um problema de servidor de nomes e o Google diz que é um problema do robots.txt.
Tenho 100% de certeza de que não é um problema com o meu robots.txt e reinstalei os padrões (o site é Drupal) e até mesmo tentei remover todo o robots.txt do servidor.
Portanto, eu acho que é um problema com os servidores de nomes, no entanto, todos os verificadores de servidores de nomes para frente e para trás dizem que não há problema e o site está sendo servidor no nome de domínio sem problema.
Acho que é um problema com os servidores de nomes, pois posso rastrear o endereço IP corretamente com o w3.org, que retorna o conteúdo, mas o mesmo serviço fornecerá um erro '500' quando eu digitar o domínio. Problema semelhante com o Google, exceto eu não posso verificar o ip.
Este poderia ser um problema de configuração do Apache? Eu realmente não tenho idéia e não consigo encontrar nenhum problema semelhante em qualquer lugar.
Meu site é marketingingles.com e o ip é 31.200.242.26. Sei que a resposta óbvia seria uma falha no robots.txt, mas você pode ver que o arquivo está correto em mercadoingles.com/robots.txt e realmente não tenho como responder por que o site não pode ser rastreado corretamente,
Alguma idéia brilhante?
Ok - Acontece que este foi apenas um erro temporário e estava nos caches do google e wc3 como eu estava configurando o servidor ao alterar as configurações de NS e DNS. Uma consulta rejeitada foi armazenada em cache e vários dias depois isso agora está funcionando, entre em pânico!