Você encontrará muitas histórias de sucesso com o módulo Python Beautiful Soup , e é amplamente recomendado para web scraping , que eu classificaria isso em (se você sugerir soluções com expressões regulares, você será rapidamente repreendido pelos usuários de SU e SO :-)). Isso é o que eu teria usado para raspar o seu exemplo amazon.com, e eu usei em outros contextos.
Se você tiver uma experiência muito básica em Python, provavelmente poderá ver exemplos e rapidamente ter uma solução em funcionamento. Se você tiver algum hábito de programação comum, provavelmente poderá fazer o mesmo com uma fração de mais tempo.
(Eu não gosto quando as pessoas dizem "Ah, é bem fácil!" quando na prática leva muito tempo para alguém que não está acostumado com a ferramenta, mas eu acredito que o Beautiful Soup e o Python são uma solução simples e robusta Se você encontrar uma solução que você se encaixa melhor: ótimo :-)).
Adendo: que tipo de sistema você tem onde todas as páginas são HTML estáticas? Os dados não são armazenados em um banco de dados em algum lugar? Eu acho que não por causa da sua pergunta. Isso pode representar um problema (para qualquer solução automática) se o HTML não for consistente nas páginas do produto.