Não é uma boa prática atualizar os pacotes do Ubuntu manualmente, é recomendado aguardar a atualização do pacote específico que vem originalmente com as atualizações do Ubuntu.
No entanto, se você precisar usar essa abordagem, aqui está um tutorial sobre como atualizar seu PHP para v5.4.x via PPA: link
Como você relatou a discrepância da versão "php -v" e phpinfo (), "php -v" fornece a versão da instalação cli do php, enquanto o phpinfo () fornece a versão que foi instalada como módulo do Apache .
Se você não estiver usando o cli php em qualquer lugar, você deve estar bem com a execução de scripts php do Apache. Mas idealmente você deveria consertar isso. Eu acho que o problema é que o seu Apache e libapache2-php5-mod foram instalados via pacotes do Ubuntu enquanto você compilou o php a partir do código-fonte. Quando você instalou o libapache2-php5-mod através do apt-get install, ele teria tomado o pacote php relevante do repo como uma dependência, como visto em packages.ubuntu.com/hardy/libapache2-mod-php5 Você precisará desinstalar o Apache e, em seguida, instalar o apache da fonte em vez de usar os repositórios do Ubuntu para fazer o que você deseja fazer.
Eu recomendo que você não instale o PHP a partir do código-fonte, mas use a abordagem PPA acima.