Abra um terminal e digite
$ dpkg --list
para listar todos os pacotes instalados. Então digite
$ sudo apt-get purge <package_name>
para remover completamente o pacote que você deseja. Por exemplo
$ sudo apt-get purge phpmyadmin
Além disso, a maneira mais fácil de instalar esses serviços é usando o tasksel
$ sudo apt-get install tasksel
$ sudo tasksel
(Select LAMP server and follow instructions)
$ sudo apt-get install phpmyadmin