Tente o seguinte comando para desinstalar e remover arquivos de configuração.
Você precisa parar o serviço do apache BEFORE que você desinstalar.
sudo apt-get purge apache2*
Se você tiver o serviço em execução, mas não instalado (de acordo com o apt), pare o serviço e reinstale, em seguida, emita o comando acima.