Meu palpite: sua resposta está aqui: link
A página man do wget tem uma solução alternativa, mas não é uma boa coisa ignorar o robots.txt, então eu não estou recomendando (você pode procurar por si mesmo). Você pode verificar se esse é o problema real visualizando o texto
curl http://somedomain.com/robots.txt