Como o nome diz, você só tem os binários, o que significa que você não tem o código fonte do programa, você tem o programa compilado.
No windows world, geralmente é assim que tudo funciona, no Linux já que a maioria dos programas são de código aberto, você tem o código e você pode ver por si mesmo se você quer aprender ou modificá-lo, ou se você é paranóico sobre alguém inserir spyware / backdoor / o que quer que seja nesse programa. Você pode compilar para si mesmo quando estiver feliz e terá seus binários.
Algumas empresas que não querem que seu software seja aberto, fornecem apenas binários que você pode executar para instalar ou executar seus softwares / drivers / qualquer coisa (por exemplo, os módulos de driver de vídeo fornecidos pela Nvidia ou ATI são binários)
Como os binários são programas compilados você pode ter um binário que pode ser o próprio programa rodando o programa, ou você pode ter uma instalação baseada em binário, o que significa que você terá um binário que fará uma instalação de o programa (outro binário) no seu sistema.