Um apt-get install apache2
irá realmente instalar o apache2.
Para desinstalar o apache2, você precisa usar apt-get remove apache2
. Isso ainda deixará os arquivos de configuração para trás.
Para desinstalar completamente o apache2 e remover seus arquivos de configuração, tente apt-get purge apache2
.
Antes de experimentar cada um deles, dê uma olhada em man apt-get
para ter certeza de que os comandos mencionados farão o que você deseja.