Se você instalou a partir dos repositórios do Ubuntu, é
sudo apt-get purge phpmyadmin
O "purge" em vez de "remove" também o instrui a remover seus arquivos de configuração, incluindo a configuração que ele adicionou aos diretórios de configuração do Apache.
Note que se ele configurar seu próprio banco de dados MySQL, esse banco de dados pode não ser removido, mas você pode fazer isso manualmente.
Se você o instalou manualmente extraindo arquivos para um diretório do servidor web, basta excluir todos esses arquivos.