O Apache 2 no debian é uma pilha de pacotes.
No wheezy (o que eu espero que o usuário estava usando baseado na data da pergunta) o pacote "apache2" é apenas um pacote de dependências. O binário real do apache2 é fornecido pelos pacotes "apache2-mpm- *" enquanto o script de inicialização é fornecido pelo pacote "apache2.2-common". Os pacotes mpm dependem do "apache2.2-common", então a remoção do apache2.2-common deve ser bem-sucedida, removendo a pilha de pacotes do apache em um sistema wheezy.
Em jessie, a estrutura mudou. "apache2" agora fornece o script de inicialização, a unidade systemd e a configuração para a instância global do apache. A remoção interromperá o sistema, iniciando o apache, mas, na verdade, não removerá os binários do apache. "apache2-bin" contém os binários reais, enquanto "apache2-data" contém arquivos de dados necessários para o apache.