"fontes" significa que você obtém o código-fonte, que geralmente é um monte de arquivos de texto (como .c, .cpp, .h no caso de C / C ++). Você deve alimentá-los para um compilador.
A compilação então gera um binário, que geralmente é um arquivo .exe ou .dll.
Então baixando os binários você está aliviado da tarefa de ter que compilar o código sozinho.
Geralmente, uma configuração também contém binários, mas também os instala corretamente.
Um arquivo zip contendo binários não instala nada em seu sistema, mas geralmente é adequado para o uso de software em uma unidade usb (geralmente chamada de versão "portátil").
Exemplo
Vamos dar uma olhada na página de download do 7-Zip :
Você pode baixar várias variantes de arquivos .exe, .msi e .zip. Esses são os arquivos binários destinados aos usuários finais.
Os outros arquivos (.7z, .tar.bz2) contêm o código-fonte ou arquivos usados para desenvolver software que usa o 7-Zip.