Para o registro, é com isso que acabei:
(Isso tudo se aplica ao Word 2003, outras versões devem ser semelhantes.)
Em Arquivo, escolha "Salvar como página da Web".
No formato suspenso, escolha "página da Web filtrada" e salve como um arquivo .htm.
O HTML que é expulso é bastante terrível, MAS no topo do documento estão todos os estilos CSS em um bloco de estilo. Ignorando os nomes de classe um pouco estranhos, o CSS não é ruim. Eu descobri que você poderia simplesmente puxar esse bloco css para fora, soltá-lo em um arquivo .css, e páginas HTML apontando para ele, na verdade, pareciam exatamente com a palavra docs.
(E isso já funciona no IE!)
Clunky, mas funciona.