No final, eu encontrei um PHP 5.4 PPA (no ppa: ondrej / php5), e decidi testar isso com os poucos webapps que eu executo naquele VPS. Tudo parecia bem (além do sistema de atualização do vBulletin, mas eu tenho uma solução para isso), então eu pulei completamente a série 5.3 e mudei para 5.4. Provavelmente não será atualizado para o 12.04LTS ainda, embora pelo menos eu saiba agora que é possível, e como fazê-lo: -)