O Apache 2.4.11 ainda não foi lançado como um pacote completo, a partir de hoje ele ainda está na árvore de desenvolvimento. Isso significa que você deve verificar e compilar a fonte por conta própria. Como uma solução de trade-off, você poderia acelerar algumas versões e obter o pacote Apache2 atualizado com o lançamento da equipe Debian Apache2 adicionando esses PPAs à sua lista de repositórios:
link
(o segundo link é para o suporte ao php 5.5)
Você pode seguir as instruções desta página da Web ou pesquisar da maneira mais fácil, emitindo estes comandos:
sudo add-apt-repository ppa:ondrej/apache2
sudo add-apt-repository ppa:ondrej/php5
Se o add-apt-repository não estiver disponível no seu VPS, instale-o.
sudo apt-get install software-properties-common
Ou em versões mais antigas do Ubuntu:
sudo apt-get install python-software-properties