Use o repositório ppa: ondrej / php5. Ele só tem o php 5.5, como você pode ver no link página.
Eu tentei várias maneiras de instalar o PHP 5.5, incluindo vários PPAs, etc, mas sempre que instala 5.6.
Existe uma maneira confiável de instalar sem ter que compilar a partir da fonte?
Use o repositório ppa: ondrej / php5. Ele só tem o php 5.5, como você pode ver no link página.