Primeiro, parece que algumas coisas não foram removidas como deveriam. Pressione Ctrl + Alt + T para abrir um terminal. Nesse ponto, você digitará o seguinte
sudo apt-get purge apache2
Isso remove todos os arquivos com este pacote, incluindo os arquivos de configuração. Nesse ponto, você pode reinstalar os arquivos.