Existe uma maneira muito fácil de fazer isso no Ubuntu, execute o comando
sudo tasksel
Ele fornecerá uma lista de itens a serem instalados, vá até LAMP e pressione a barra de espaço para selecioná-lo. Em seguida, pressione enter, ele instalará todos os pré-requisitos necessários e tudo será pré-configurado.