A partir da página do manual que você mencionou:
elf - format of Executable and Linking Format (ELF) files
O ELF define o formato binário dos arquivos executáveis usados pelo Linux. Quando você chama um executável, o sistema operacional deve saber como carregar o executável na memória corretamente, como resolver dependências de bibliotecas dinâmicas e onde pular para o executável carregado para começar a executá-lo. O formato ELF fornece essas informações. A magia ELF é usada para identificar arquivos ELF e é apenas os primeiros bytes de um arquivo:
% od -c -N 16 /bin/ls
0000000 177 E L F 002 001 001 % readelf -h /bin/ls | grep Magic
Magic: 7f 45 4c 46 02 01 01 00 00 00 00 00 00 00 00 00
elf - format of Executable and Linking Format (ELF) files
% od -c -N 16 /bin/ls
0000000 177 E L F 002 001 001 % readelf -h /bin/ls | grep Magic
Magic: 7f 45 4c 46 02 01 01 00 00 00 00 00 00 00 00 00
%pre% %pre% %pre% %pre% %pre% %pre% %pre% %pre%
0000020
%pre% %pre% %pre% %pre% %pre% %pre%
0000020
ou
%pre%Esses 16 bytes identificam um arquivo como um executável ELF. Muitos formatos de arquivo têm bytes "mágicos" que realizam a mesma tarefa - identificando um tipo de arquivo.