Você estava perto, mas não estava certo. IIS responderá com 404 para qualquer arquivo que não tenha um tipo MIME registrado. Veja como corrigi-lo:
- Abra o Gerenciador do IIS
- Selecione o servidor, o site ou o aplicativo ao qual você deseja adicionar o tipo MIME
- Na subseção do IIS, abra o recurso Tipos de MIME
- Adicione a extensão para o seu arquivo ".abc" com um tipo mime apropriado (para qualquer tipo de arquivo que ele realmente é).
Aqui está a documentação relevante: link