O PHP 5.3.10 é a versão mais recente que o PPA de terceiros fornece. Se você quer o mais recente PHP 5.3, você precisa baixá-lo do php.net e compilá-lo a partir da fonte.
No entanto, eu recomendo que você use pelo menos o PHP 5.4, já que o 5.3 só é suportado até julho de 2014. Ou, se você puder pagar, use o 5.5 imediatamente.