- Linux - você tem o Ubuntu ✔
- Apache -
sudo apt-get install apache2
- MySQL -
sudo apt-get install mysql-server
- PHP -
sudo apt-get install php5 libapache2-mod-php5
Há instruções mais detalhadas sobre howtoforge também.
Para fazer tudo de uma só
sudo apt-get install tasksel
sudo tasksel install lamp-server