Você está confiando que canonical compilou o programa para que ele não tenha nenhuma adulteração que não seja evidente no código-fonte, e que eles verificaram a assinatura no código-fonte do desenvolvedor do Ubuntu que fez o upload, ou que o debian fez o o mesmo para o desenvolvedor debian que fez o upload, se o pacote veio do debian. Você está confiando no desenvolvedor que carregou o pacote fonte, que, é claro, não pode revisar completamente todo o código upstream, então você também está confiando em todos os contribuidores de código aberto do upstream.