Seu problema surge porque todos os links em aol.com/index.html
apontam para hosts diferentes. Para baixar recursivamente de todos os hosts, você pode adicionar a opção --span-hosts
. Para permitir todos os hosts da aol, pareceu funcionar para mim adicionar a opção --span-hosts '*.aol.com'
.
wget --span-hosts '*.aol.com' -r http://www.aol.com
Você pode listar os links com
grep -Po '(?<=href=")[^"]*' aol.com/index.html
Você verá que a maioria deles aponta para www.aol.com para que você também possa ligar
wget -r http://www.aol.com