O lugar mais seguro para obter o software que você procura seria dos Repositórios do Ubuntu (como para PHP e Apache, os Patches de Segurança são aplicados pela Equipe de Segurança a todos os lançamentos onde existe um problema de segurança) ou diretamente dos projetos upstream baixando o código-fonte em um tarball e compilando-o.
No Ubuntu, os PPAs do Ondrej para as versões do PHP são realmente aceitáveis. Ondrej é um dos mantenedores do pacote Debian e também do pacote Ubuntu como resultado de seus esforços no Debian, e ele também trabalhou com erros do Ubuntu em PHP5 ( Página de QA do Debian para php5 onde Ondrej está listado nos mantenedores e uploaders). Seus PPAs são seguros de usar e, de fato, em alguns sistemas, eu os uso em produção ainda quando preciso das versões mais antigas do PHP. (Ou, em casos raros, eu lamento o mais recente do Debian, mas sou um usuário avançado, então ...)
No entanto, a única maneira "confiável" verdadeira de obter o software mais recente é baixar o código-fonte mais recente e compilá-lo para tudo. Seu próximo modo 'confiável' é usar os repositórios para o SO que você tem (como o Ubuntu, para o qual a Equipe de Segurança fornecerá correções e atualizações através dos repositórios de segurança do Ubuntu para manter as falhas de segurança corrigidas).
O Ubuntu é, na verdade, derivado do Debian, de tal forma que ele opera da mesma forma que um sistema Debian faria com um grande número de mudanças. A única maneira de obter o 'mais recente e melhor' PHP e Apache é usar o Debian Unstable desde que os mantenedores do pacote estejam extremamente atualizados ao liberar atualizações (o que geralmente NÃO é o caso, dado o freezes do Debian e tal, assim como o Ubuntu). p>