Veja meu comentário acima. Para localizar todos os arquivos no sistema que NÃO foram instalados através do sistema de pacotes dpkg , leia man dpkg-query , man find (para reduzir os arquivos marcados - estou verificando tudo:
sudo find / -type f -print0 | \
xargs -0 -n 1 dpkg -S | \
grep "no path found matching pattern" >>/tmp/not-owned-by-dpkg
Como isso irá, para cada arquivo no sistema, pesquisar todos os pacotes pelo nome do arquivo, isso levará muito tempo.