O pandoc 1.19.2.1 usa três estilos para o corpo do texto: Normal , Body Text e First Paragraph , que são baseados um no outro nesta ordem. Se você quiser apenas um estilo específico do texto do seu corpo, deverá editar o estilo Body Text no modelo, não o estilo Normal , pois as alterações no estilo Normal - como você já mencionou - se propagam para outros estilos também.
Veja a parte sobre a opção --reference-docx na seção "Opções que afetam gravadores específicos" do manual do usuário do pandoc.
Esse recurso pode existir na versão anterior à 1.19.2.1, não sei quando isso foi introduzido.