Você mencionou ter tentado Cross Browser Testing antes, por isso, antes de entrar em soluções "roll your own", saiba que existem vários outros (mais antigos) serviços, sendo o meu favorito Fotos do Navegador .
Dito isto, o que você descreveu é totalmente possível, embora irá exigir algum conhecimento de programação para realizar. Independentemente da linguagem de programação, o aplicativo deve seguir o mesmo "algoritmo" básico:
for each url in url_list:
for each browser in browser_list:
launch_browser(browser, url)
take_screenshot(filename = date & browser & url)
terminate_browser(browser)
Ultimamente eu tenho entrado no Python, e enquanto qualquer outra linguagem seria aceitável aqui (eu assumirei que sua plataforma está restrita ao Windows dado o seu desejo de testar os sites no IE8 / 9), existem vários Stack Overflow existentes perguntas que devem ser mais do que suficientes para você seguir o seu caminho:
- Automatize o firefox com python? (você precisará encontrar uma maneira de controlar o navegador com Python; no mínimo, eu acredito você pode simplesmente invocar o executável do navegador e passar uma URL como argumento, ignorando a necessidade de fazer isso [exceto se precisar tirar várias capturas de tela de uma página, porque a rolagem pode exigir controle específico do navegador])
- Obtenha captura de tela no Windows com o Python?
- Como obter uma captura de tela do site em python (mais útil apenas para conceitos, já que algumas dessas soluções usam um mecanismo de renderização do Python em si, por exemplo, WebKit)