TRY:
Atualize seus repositórios:
sudo apt-get update
Faça o download e instale a partir de repositórios:
sudo apt-get install php5 php5-common php5-cli php5-dev php5-mysql phpmyadmin php5-pgsql phppgadmin php5-gd php5-mcrypt php5-curl php-pear libapache2-mod-php5 php5-xdebug php5-codesniffer
ALTERNATIVA:
Faça o download do PHP5.3.10 aqui:
5.3.10-1unbuntu3.15: http://packages.ubuntu.com/precise-updates/i386/php5-gd/download
5.3.10-1unbuntu3.14: https://launchpad.net/ubuntu/precise/i386/php5-gd/5.3.10-1ubuntu3.14
Para instalar:
ubuntu3.14 version: dpkg -i php5-gd_5.3.10-1ubuntu3.15_i386.deb
ubuntu3.15 version: dpkg -i php5-gd_5.3.10-1ubuntu3.15_i386.deb
Se você receber algum erro ao configurar, dependendo do erro, terá que instalar dependências:
http://zgadzaj.com/how-to-install-php-53-and-52-together-on-ubuntu-1204
Considere a possibilidade de consultar este artigo sobre os Downgrades do PHP:
Como fazer o downgrade do PHP 5,4 a 5,3
Boa sorte!