Não mexa na instalação de versões antigas ou diferentes de programas no ambiente local do Ubuntu.
O Docker é a ferramenta perfeita para fazer algo assim.
Há muitos recursos prontos php5 e / ou mysql disponíveis.
Você pode começar com uma imagem apache + php5 e instalar o mysql nela sozinho ou até mesmo melhor, use uma imagem mysql separada.
sudo apt-get install docker.io