Para começar, para o Ubuntu, você deve estar quase sempre usando uma edição de Suporte de Longo Prazo, então é 10.04.
Aqui está o motivo - link - veja o gráfico.
(Então, se você pode esperar por 12,04 LTS, devido no final de abril, bom para você.)
Caso contrário, o Npox 'PHP repo -ppa: nginx / php5 - não é mais mantido.
Você pode usar o repositório da Mercer, mas ele mesmo diz que não (eu acabei de atualizar as anotações do vpsbible de acordo, portanto, o know-how) porque ele não é mantido.
INSTEAD ... use o repositório ppa: l-mierzwa / lucid-php5 com o 10.04 e você estará bem.
add-apt-repository ppa:l-mierzwa/lucid-php5
apt-get update
(Provavelmente tudo vai bem com o 11.04 também se você quiser tentar.)
Isso lhe dá o PHP 5.3.10. Se você quer jogar com o 5.4.0 (o que não é recomendado, a menos que você seja um testador de bugs), então isso ...
add-apt-repository ppa:ondrej/php5