Você precisa de um aplicativo da Web de algum tipo para exibir os documentos do MS Office em um navegador da web. Os navegadores da Web modernos só podem exibir arquivos PDF e nem todos eles.
Uma dessas aplicações web é o Collabora Office Development Edition. link
Note que isso lhe dará capacidade total de edição colaborativa, não apenas visualização. Observe também que não é nada trivial configurar ... mas eles parecem oferecer um contêiner docker que deve facilitar um pouco a implantação.