Aparentemente, você não pode substituir isso em uma tag de localização ou mesmo em seu web.config da seguinte forma:
<staticContent>
<mimeMap fileExtension="woff" mimeType="application/x-font-woff" />
<remove fileExtension="ogg"/>
<remove fileExtension="mp4"/>
<remove fileExtension="webm"/>
<mimeMap fileExtension="ogg" mimeType="video/ogg" />
<mimeMap fileExtension="webm" mimeType="video/webm" />
<mimeMap fileExtension="mp4" mimeType="video/mp4" />
</staticContent>
Em vez disso, eu tive que adicionar .mp4 em tipos mime na GUI (isso não parece ter alterado web.config em tudo) como uma definição local:
Confirmado com fiddler, o arquivo .mp4 agora é exibido com um tipo de conteúdo de video / mp4 (mesmo que a tag staticContent tenha sido definida anteriormente)