Quando você instala o Ubuntu, há uma opção para configurar a máquina como um servidor LAMP.
Mas se você esqueceu de fazer isso, basta executar um desses comandos:
sudo apt-get install apache2 php5-mysql libapache2-mod-php5 mysql-server
ou
sudo tasksel install lamp-server
A primeira é a maneira "bruta" de instalar todos os componentes da pilha LAMP, enquanto tasksel parece ser a mesma ferramenta usada pela configuração.
Como Neal mencionou, um meta-pacote como o apache2 irá instalar vários pacotes. Além disso, você será solicitado a instalar quaisquer dependências ausentes.
Se você precisar de outros pacotes, também poderá instalá-los posteriormente.