Eu bloqueei uma página no robots.txt em User-agent: * e tentei remover manualmente esse URL do cache do Google nas ferramentas dos webmasters. O Google disse que não estava sendo bloqueado no meu robots.txt, então eu o bloqueei especificamente sob User-agent: GoogleBot e tentei removê-lo novamente e desta vez funcionou. Isso significa que o Google não respeita o User-agent: * ou o quê?
O GoogleBot deve seguir as regras de User-agent: * , mas não atualizará o cache até que o GoogleBot rastreie seu site novamente, o que leva algum tempo. O Google não divulga o tempo mínimo exato entre os rastreamentos, mas especulamos que sejam cerca de 15 a 30 minutos.
Os links recebidos também farão com que o URL seja indexado pelo google. Não teria um índice do conteúdo real
Se as ferramentas do Google para webmasters dissessem que não estavam sendo bloqueadas pelo robots.txt, eu diria que você deve ter um erro no arquivo robots.txt. O Google definitivamente honra o User-Agent, então alguma outra coisa deve estar errada. Você pode verificar o robots.txt detalhadamente nas páginas de ajuda nas Ferramentas do Google para webmasters.
A remoção do índice demora de 24 a 48 horas na minha experiência, embora eu tenha visto isso acontecer em apenas 5 horas.
Tags google robots.txt