Claro, é exatamente isso que um 'pacote' é! Pense nisso como install.exe no windows. Você faz o download de um arquivo foo.deb ou qualquer outro arquivo e contém tudo o que você precisa para instalá-lo.
Sim, o processo de instalação copiará vários arquivos para vários locais (o que também é comum no Windows, a propósito, nem tudo está na pasta Program Files/foo ), mas você não precisa saber sobre isso . Você acabou de adicionar / remover programas usando as ferramentas fornecidas pela sua distribuição Linux (ferramentas gráficas na maioria dos casos, se é isso que você gosta) e eles lidam com a localização dos vários arquivos em seus vários diretórios.
Então, se você estragar algo e não quiser baixar novamente (embora a maioria dos pacotes sejam bem pequenos e não demorem muito para baixar, mesmo com uma conexão lenta), basta reinstalar o .deb Arquivo. Também é trivial (muito diferente do Windows) obter uma lista completa de todos os arquivos associados a um programa / pacote específico e removê-los.
Realmente, a melhor maneira de você entender o sistema é usá-lo. Basta instalar uma distribuição Linux ao lado do seu Windows e começar a usá-lo. Não há razão para remover o Windows, use os dois até que você se acostumar com o Linux o suficiente para mudar para ele.