apache2
é um metapacote que apenas seleciona outros pacotes. Se você instalou o apache instalando esse pacote, basta executar isso para limpar os pacotes selecionados automaticamente:
sudo apt autoremove
Se isso não funcionar, você pode ter instalado um dos dependentes manualmente. Você pode direcionar todos os pacotes apache2-
do espaço e neutralizar o lote:
sudo apt remove apache2.*
Para referência futura, para descobrir de qual pacote um binário é, você pode executar isto:
dpkg -S 'which apache2'
Espero que volte com apache2.2-bin
(no momento da escrita).