O Apache2 é um meta-pacote, você precisa de um 'trabalhador' específico do apache2 (o mpm é instalado no meu) que fornece a dependência do apach2, se necessário.
dpkg -l|grep apache
Provavelmente encontrará o que você está tentando encontrar.
Você pode sempre interromper a inicialização, em vez de removê-la totalmente.