Clique com o botão direito do mouse em um cabeçalho, selecione Expand/Collapse > Expand All Headings (ou Collapse All Headings ).
Além disso, você pode gostar de ter atalhos para eles, então siga estas etapas:
No menu File no canto superior esquerdo, escolha Options .
Na janela Word Options da coluna esquerda, selecione Customize Ribbon .
Em seguida, no painel direito, observe a parte inferior do painel e você verá Keyboard shortcuts: ; clique em Customize...
Na janela Customize Keyboard , em Categories: , role para baixo e selecione All Commands
Em seguida, clique em Commands: e digite ExpandAllHeadings (digitando as duas primeiras letras, você a obterá)
Em seguida, coloque o cursor na caixa Press new shortcut key , segure a tecla Alt com E do teclado e clique em Assign . Agora temos o atalho Alt+E para expandir todos os cabeçalhos.
Novamente, em Commands: type em CollapseAllHeadings , e siga as mesmas etapas acima, mas use Alt+C para isso.

