Crie um novo atalho para apontar para o Firefox (ou apenas copie um existente). Clique com o botão direito no atalho e selecione "Propriedades". No campo "Target", role até o final da linha após o caminho para o executável do firefox e adicione urls, cada um entre aspas como esta:
"C:\Program Files\Mozilla Firefox\firefox.exe" "http://example.com" "http://superuser.com"
Isso deve abrir cada URL em uma nova guia. Confira também o Mozilla Knowledgebase para mais informações sobre a linha de comando do Firefox.
Atualização : Acho que devo fechar meu navegador para testar antes de declarar a vitória ... atualizado com resposta de trabalho no FF 3.5 no Win 7 x64