Não sei por que isso foi movido para o SuperUser, mas de qualquer forma, o problema foi resolvido. Acabou sendo dois problemas juntos. Havia algumas entradas de registro que precisavam ser apagadas. O Adobe Labs tinha uma ferramenta para ajudar nisso. Então eu "consertei" o Office 2013 usando a ferramenta interna. Isso não funcionou completamente, então depois de toneladas de escavação, o mais provável culpado foi ser uma instalação de 64 bits. Eu não tive a chance de testar a versão de 32 bits, mas voltar para a última versão do Office, por enquanto, tem o Acrobat feliz.