Para remover: sudo apt-get purge apache2 mysql php5
Para instalação: verifique se você fez sudo apt-get update && sudo apt-get upgrade
Em seguida, para o Ubuntu 16.04 e posterior: sudo apt-get install apache2 libapache2-mod-php7.0 php7.0 php7.0-mysql mysql-server
Para o Ubuntu 15.04 e anterior: sudo apt-get install apache2 libapache2-mod-php5 php5 php5-mysql mysql-server
Existem muitos guias sobre como instalar corretamente o LAMP-Stack. Um bom é isso aqui: link