Você precisará usar scripts de mantenedor para fazer coisas durante a remoção do seu aplicativo (especificamente pré-termo e pós-processamento).
Você pode dar uma olhada na ligação
Abaixo está um exemplo de script prerm que eu usei anteriormente ao remover o pacote mythbuntu-repos, para remover também o repositório adicionado e as principais informações.
#!/bin/sh
case "" in
remove|purge)
if [ -x /usr/bin/apt-key ]; then
/usr/bin/apt-key del EEED06D0 2>/dev/null || true
/usr/bin/apt-key del 1504888C 2>/dev/null || true
fi
rm /etc/apt/sources.list.d/mythbuntu-repos.list 2>/dev/null || true
;;
esac