wget - baixe sub dir quando robôs-off

Question

Por exemplo, quero fazer o download do dir3 deste link . O robot.txt existe no link

Está funcionando,

wget -e robots=off .... http://example.com/dir1/ 

Mas não funciona para

wget -e robots=off .... http://example.com/dir1/dir2/dir3

É possível fazer o download de um subdiretório quando os robôs estão desativados?

Obrigado!