Se você for escrever um rastreador, investigar o pacote Mechanize do Perl ou a versão do seu idioma de programação, provavelmente tornará a vida muito mais fácil.
Esses pacotes fornecem funções de gerenciamento de cookies e sessões. Além disso, em Python, quando combinado com o pacote BeautifulSoup, pode ser bastante poderoso.