Tente remover o diretório XAMPP novamente e reinicializar. Você pode reinstalar se quiser, mas eu pessoalmente acho que instalar uma pilha LAMP como a Documentação da Comunidade descreve seria muito melhor idéia. Você também vai querer apt-get install phpmyadmin .
Editar: ou você poderia apenas sudo apt-get install php5 mysql-server apache2 phpmyadmin . Eu acho que esse seria o meu método preferido pessoalmente.
Edit2: Seu phpMyAdmin estará acessível em http://localhost/phpmyadmin , e seus arquivos irão aparecer em /var/www .