Sem entrar no território desconhecido da compilação de pacotes, a melhor solução é encontrar e adicionar um PPA (que é um repositório "pessoal") que hospeda esses pacotes.
Felizmente para você, há PPAs para todos os seus pacotes, mantidos por empacotadores / mantenedores da Debian:
- PHP 5.5: link (ppa: ondrej / php5)
- Apache 2.4.10 (e acima): link (ppa: ondrej / apache2)
- MySQL 5.6.20 (e acima): link (ppa: ondrej / mysql- 5,6)
O processo de adicionar PPAs é fácil. Encontre a linha "ppa:" na lista acima, abra um terminal e digite:
sudo apt-add-repository ppa:name
Isso adicionará esse PPA aos seus repositórios e você poderá executar
sudo apt-get update
para que seus pacotes sejam atualizados e atualizados como se fossem dos repositórios oficiais.