Em uma palavra: binfmt_misc . É uma instalação específica do Linux, não portátil.
Existem alguns formatos que são reconhecidos pelo kernel com lógica interna. Nomeadamente, estes são o formato ELF (para binários normais) e a convenção shebang (para scripts). (graças a zwol para a parte seguinte da resposta). Além disso, o Linux reconhece alguns formatos esotéricos ou obsoletos ou de compatibilidade. Você provavelmente não vai encontrá-los. Eles são a.out
, "em86", "flat" e "elf_fdpic".
Todo o resto deve ser registrado através do sistema binfmt_misc. Este sistema permite que você registre com o kernel uma verificação de padrão simples baseada em um número mágico e o interpretador correspondente.