Você pode ter vários documentos PDF abertos no Windows 8, mas não com o Windows Reader integrado. Infelizmente, o Reader não parece ter nenhuma funcionalidade para várias janelas / documentos (o que é bastante típico dos aplicativos da Windows Store, considerando que eles eliminam mais ou menos o modelo de múltiplas janelas para otimizar telas menores).
O que você pode fazer é usar um visualizador de PDF de terceiros, assim como você faria em versões anteriores do Windows que não vinha com um. Adobe Reader e Foxit Reader são apenas dois entre muitos visualizadores comumente usados que serão iniciados no modo Desktop, assim como nas versões anteriores.
Infelizmente, se você estiver executando o Windows RT, isso não é uma opção (o RT não permite programas da área de trabalho). Você pode tentar procurar um visualizador de PDF de terceiros na Windows Store - há um par disponível e certamente mais por vir. No entanto, pode ser um pouco difícil encontrar um que possa exibir vários documentos simultaneamente.