Estou usando o wget para Windows (gnuwin32 wget-1.11.4-1) no Windows 8 e usando-o para uma ferramenta de helpdesk chamada Kayako, informando-o para pesquisar de uma fila de email. A linha de comando é assim:
wget.exe -O null --timeout 25 http://xxx.kayako.com/cron/index.php?/Parser/ParserMinute/POP3IMAP
Eu sei que demora cerca de 20 segundos para receber uma resposta do servidor no meu caso particular ao usar um navegador com o URL na linha de comando acima. No entanto, ao usar esse comando, ele retorna quase imediatamente. Este é um trecho da saída:
Connecting to xxx.kayako.com[xxx.xxx.xxx.xxx]:80... connected. HTTP request sent, awaiting response... 200 OK Length: unspecified [text/html]
Eu gostaria de saber qual seria a diferença entre os dois casos e como eu poderia me comportar da mesma forma que o navegador (eu sei que isso não acontece porque o Kayako não está pesquisando na fila de email).
Alguns sites oferecem páginas otimizadas para navegadores. Isso significa que o site verifica em uma solicitação que tipo de navegador você está usando e o atende com uma página otimizada ou como uma página padrão.
Além disso, o java-script pode ser um problema, veja o link