A vantagem é exatamente o que você disse, um tempo de atualização mais curto e a impossibilidade de fazer o download de pacotes fonte por meio de
apt-get source package-name
A maioria dos usuários não baixa e usa pacotes de código-fonte de qualquer maneira. Pacotes de origem podem ser usados para inspeção de código ou para recompilação (modificação de sinalizadores de compilação e / ou código-fonte)