Então, das duas soluções possíveis que pensei ter na minha pergunta, as duas podem funcionar, mas elas têm um resultado final diferente.
ISMV muxer + ismindex
O que eu precisava era de um conjunto de arquivos do lado do servidor (.ism, .ismc, .ismv). Para conseguir isso, acabei fazendo as seguintes duas coisas:
ffmpeg -i input.mpg -c:v copy -c:a aac -b:a 192k -movflags frag_keyframe -f ismv ss_out.ismv
O comando acima copia os fluxos de vídeo sem transcodificá-los, transcodifica o áudio no AAC (embora pareça que o ffmpeg e o ismindex não se importam com o áudio MP2) e o compacta em um .ismv.
ismindex -n ss_out ss_out.ismv
A ferramenta ismindex pode então criar os arquivos .ism e .ismc que eu preciso.
Os arquivos que recebi foram passíveis de fluir pelo IIS com o Media Services.
Smoothxing muxer
Eu também fiz o muxer 'smoothstreaming' funcionar no final, o truque era que ele precisava de um arquivo .ismv como entrada também. Então eu corri o mesmo comando ffmpeg acima, primeiro, depois do qual eu poderia usar o ffmpeg novamente para reempacotá-lo com o muxer 'smoothstreaming'.
O problema que tive com essa solução, porém, é que ela resulta nos arquivos necessários para que um servidor web convencional faça um fluxo suave. por isso, os fragmentos de vídeo são divididos e os metadados por pedaço. Que é normalmente tratado pelo servidor de streaming.