sudo apt-get purge mysql-server apache2 php5
Isso removerá os pacotes "big-boy", que devem cuidar da maioria dos casos.
Você pode encontrar essas informações na documentação , especificamente esta seção sobre como começar de novo:
% bl0ck_qu0te%Não use tasksel para remover pacotes, coisas ruins podem acontecer, isso é coberto neste relatório de bug .
O resto da documentação cobre como você reinstalaria o apache e todas as coisas que você precisa para começar de novo.