Estou recuperando o conteúdo de um site dinâmico de forma recursiva. Infelizmente, os arquivos estão disponíveis em diferentes URLs dinâmicos. Por exemplo, talvez o arquivo http://foo.bar/bla.php?q=xyz e http://foo.bar/bla.php?q=abc sejam exatamente iguais (eles têm a mesma soma de verificação), mas são baixados como arquivos diferentes.
É possível fazer com que o wget detecte uma coisa dessas e baixe apenas uma delas?
Além disso: é possível fazer com que -k convertam links para o link baixado, mesmo se as páginas se referirem ao segundo?
Obrigado!
Tags wget