Primeiro, quero que apt-get remove
não remova os arquivos de configuração. Apenas remove o pacote indicado (e qualquer pacote dependente possível).
Depois de instalar o pacote apache2, você pode verificar se o pacote está instalado usando um comando como:
$ sudo dpkg -l | grep apache2
ii apache2 2.2.20-1ubuntu1.1 Apache HTTP Server metapackage
ii apache2-mpm-worker 2.2.20-1ubuntu1.1 Apache HTTP Server - high speed threaded model
ii apache2-utils 2.2.20-1ubuntu1.1 utility programs for webservers
ii apache2.2-bin 2.2.20-1ubuntu1.1 Apache HTTP Server common binary files
ii apache2.2-common 2.2.20-1ubuntu1.1 Apache HTTP Server common files
Portanto, existem vários pacotes relacionados ao apache instalados, e não apenas ao pacote "apache2". Você pode verificar os arquivos instalados de um pacote usando um comando como:
$ sudo dpkg -L apache2.2-common | less
Quando eu executei o comando acima, descobri que os arquivos de configuração são instalados por este pacote e não pelo pacote "apache2". Então, você precisa ter certeza de que este pacote está instalado para encontrar os arquivos de configuração depois de removê-los manualmente.