Quando você remove e re-instala o Apache, ele não remove ou sobregrava arquivos de configuração.
veja Como posso restaurar arquivos de configuração?
Tente:
sudo apt-get purge apache2
sudo apt-get install apache2
Se isso falhar, atualize sua pergunta com mensagens de erro