Você pode desinstalar o apache e remover arquivos de configuração anteriores com o seguinte comando:
apt-get purge apache2 apache2.2-common apache2.2-bin
Use o guia de servidor oficial e atualizado da documentação do Ubuntu em vez de um tutorial de 2008. O segmento em servidores da web deve começar, mas vale a pena ler toda a documentação, porque ela abrange todas as coisas que você precisa saber ao executar um servidor.
O ArchWiki também tem um artigo sobre Apache / LAMP .