Um apt-get install apache2 irá realmente instalar o apache2.
Para desinstalar o apache2, você precisa usar apt-get remove apache2 . Isso ainda deixará os arquivos de configuração para trás.
Para desinstalar completamente o apache2 e remover seus arquivos de configuração, tente apt-get purge apache2 .
Antes de experimentar cada um deles, dê uma olhada em man apt-get para ter certeza de que os comandos mencionados farão o que você deseja.