Isso faria o que você quiser
sudo apt-get remove apache2*
Como posso desinstalar o Apache2 no Ubuntu 14.04, a partir do terminal? Eu não conheço os comandos.
Isso faria o que você quiser
sudo apt-get remove apache2*
Se você quiser apenas remover o uso do apache:
sudo apt-get remove apache2
Porém, se você não pretende reinstalar em algum momento e gostaria de remover todos os arquivos de configuração do apache, use:
sudo apt-get purge apache2