Para instalar a versão mais recente do Apache, simplesmente execute esses comandos no Terminal:
sudo apt-get update
sudo apt-get install apache2
Para usar as versões PHP e MySQL que você mencionou, basta instalá-las seguindo esta regra geral:
apt-get install <package name>=<version>
Mas antes disso, eu realmente não entendo por que você precisa usar software antigo: novas versões de software não são para diversão, mas principalmente para corrigir vulnerabilidades de segurança (das quais o PHP é famoso).
Por fim, prefiro citar aqui :
% bl0ck_qu0te%