Você pode remover os pacotes no Ubuntu executando os comandos:
dpkg --purge phpmyadmin
dpkg --purge mysql-server
dpkg --purge apache2.2-common
Ou
Você também tem a opção de remover os seguintes pacotes:
sudo apt-get remove apache2*
sudo apt-get remove phpmyadmin
sudo apt-get remove mysql-server
sudo apt-get remove php5
Ou
sudo apt-get --purge apache2*
sudo apt-get --purge phpmyadmin
sudo apt-get --purge mysql-server
sudo apt-get --purge php5