As extensões na verdade não alteram o tipo de arquivo que algo é, embora muitas vezes façam sugestões ao sistema sobre o que fazer com um determinado item.
DMGs não são executáveis, são imagens de disco. São arquivos que funcionam como discos, que geralmente contêm os executáveis e outros arquivos para aplicativos. Quando você clica duas vezes em um, o sistema o monta e você tem acesso aos arquivos dentro dele.
O Windows e o OS X executam arquivos executáveis binários, embora estejam em formatos diferentes. A grande diferença no que um usuário vê ao usar a GUI é que, no Windows, você geralmente vê o arquivo executável .exe, que reside em uma pasta que contém outros arquivos e informações que o programa usa. No OS X, todos esses outros arquivos, junto com o executável principal, estão contidos em um "pacote" (na verdade, uma pasta) com a extensão .app. Clicar duas vezes em um pacote .app executará o executável interno e carregará seu aplicativo.
Fora da GUI, na estrutura real dos arquivos, os sistemas Mac e Windows são bastante semelhantes; Essas diferenças são principalmente uma questão de como o sistema apresenta coisas ao usuário para manipulação na GUI.