Eu tentei uma nova instalação 12.04 LTS. O principal problema é que eu adicionei o ppa:ondrej/php5
repo para o php 5.4. Isso inclui o apache 2.4 sem cabeçalhos de desenvolvimento. Como resultado, eu tenho o Apache 2.4.6 instalado, mas quando vou instalar os cabeçalhos de desenvolvimento, o índice de pacotes só o encontra para o 2.2.
Se eu quiser ficar com o 12.04, parece que só posso obter resultados compilando do zero.
Se eu quiser pacotes gerenciados para o php 5.4 e o apache 2.4, não posso ficar com 12.04 LTS.
Note que tudo ficaria bem se eu precisasse apenas de páginas PHP e estáticas normais. Eu preciso instalar o Phusion Passenger for Rails também, então o 12.04 não é uma opção.
Vou tentar atualizar para 13.10 e comentar aqui novamente.