As pessoas do Debian fazem um enorme esforço para garantir a consistência dos pacotes fornecidos através de seus repositórios. Este é o objetivo de ter uma versão chamada stable . Então, na medida em que você está interessado em pacotes distribuídos por repo, você não tem nada a temer. Se você deseja saber mais e buscar mais tranquilidade, leia esta palestra popular dado pelo antigo líder do Projeto Debian, Stefano Zacchiroli. Não desanime com o título em italiano, o resto da palestra é em inglês.
No entanto, pode haver algum motivo de preocupação em relação a qualquer software não-repo instalado em sua máquina, porque obviamente não há garantia de que você pode encontrar uma versão em execução com o novo kernel e as novas lib's. Os locais habituais onde o software personalizado está instalado são
/opt, /usr/local, /usr/share
Você também pode verificar novamente os pacotes debian instalados por meio de
dpkg -l | more
Observe que alguns softwares personalizados podem ser instalados através de um pacote Debian, mas nem todos os softwares personalizados precisam ser instalados dessa forma.