Um .deb não é mais do que um arquivo, como um arquivo zip.
"Instalando" o .deb nada mais é do que copiar os arquivos do arquivo para o sistema + alguns scripts de pré ou pós-cópia (instalação) / reiniciar / recarregar arquivos de configuração + um sistema de rastreamento.
Remover o arquivo, o .deb, não desinstala o pacote, portanto, não importa se o .deb foi baixado e instalado a partir do / tmp ou excluído após a instalação.
Veja também este link do fedora sobre como funciona o gerenciamento de embalagens. Ele é escrito para o Fedora, mas se aplica à maioria dos sistemas operacionais Linux (embora o Ubuntu use o apt) link