Depois de muita tentativa de consertar isso, acho que está ligado a duas coisas: criar uma lista numerada usando estilos / títulos de cabeçalho internos do Word e, em seguida, modificar essa lista (no meu caso, alterando o espaçamento do recuo). Para mim, essas duas ações resultam inevitavelmente nas caixas pretas.
Embora não possa curar um documento doente, aprendi a evitar que isso aconteça novamente.
Usando um documento limpo (não um modelo) com estilos de cabeçalhos funcionais, modifique-os para se adequarem, então renomeie algo novo. Em outras palavras, não substitua os nomes de cabeçalho internos pela nova formatação, mas crie novos nomes de cabeçalho para os cabeçalhos modificados. Depois de passar horas tentando conseguir cabeçadas onde eu quero, só para pegar as caixas pretas da morte, essa ação preventiva é o melhor que posso oferecer.