Você não pode, na verdade, sem fazer uma auditoria extensiva do código e observá-lo em ação "de fora", por exemplo, usando uma máquina virtual. Não existe uma maneira à prova de balas para encontrar pacotes maliciosos e, certamente, nenhuma maneira automatizada que não possa ser contornada com relativa facilidade. Algumas coisas que você pode realisticamente fazer, nenhuma delas é de balas de prata:
- Faça o download do pacote, descompacte-o ( não instale-o!) e execute uma verificação de vírus nos arquivos descompactados. Isso pode encontrar alguns problemas bem conhecidos, mas não hacks direcionados ou personalizados.
- Antes de usá-lo, instale-o em uma máquina virtual e verifique se ele não faz nada "suspeito", como tocar em arquivos que não deveria, comunicar-se com servidores externos, iniciar processos de daemon por conta própria, etc. É claro que poderia estar fazendo coisas assim, por exemplo, depois de correr por X horas, e não há como você saber sem uma inspeção detalhada do código. Os detectores de rootkit podem automatizar parte disso.
- Instale em um ambiente restrito. O SELinux, as cadeias de chroot, as máquinas virtuais, as máquinas desconectadas separadas e muitas outras coisas podem conter diferentes tipos de software problemático, desde o simples até o ativamente malicioso.
- Dados valiosos (mas não secretos) podem ser colocados em servidores separados com acesso somente leitura fornecido à máquina não confiável.
- Os dados secretos devem ser colocados em uma máquina inacessível da máquina não confiável. Qualquer comunicação deve ser feita manualmente através de mídia removível.
Finalmente, o único software seguro é sem software. Tem certeza de que precisa instalar softwares que não confia? Não há alternativa confiável e conhecida?