Acredito que Firefox 3.6 beta pelo menos seja necessário, e é ainda não perfeito , mas eles estão trabalhando nisso (daí porque ainda não está habilitado por padrão):
- Digite about: config na barra de endereço e filtre para browser.taskbar.previews.enable
- Altere este valor para True
- Aproveite as visualizações das guias!