Basicamente, os pacotes fonte precisam ser compilados por você antes da instalação (eles são o próprio código) (usando make e um compilador).
Os pacotes binários já estão compilados para sua arquitetura e só precisam ser instalados (usando o dpkg, por exemplo)