Você pode instalar uma versão mais antiga de qualquer pacote com o Apt - basta procurar o nome da versão específica que deseja. Supondo que você esteja usando Debian, você pode procurar por versões antigas de pacotes em seu site link
O formato para instalar o pacote específico é assim:
apt-get install <package name>=<version>
De tal forma que se você quiser instalar a versão chamada 5.3.3-7 + squeeze3, use isto:
apt-get install php5=5.3.3-7+squeeze3
Mas isso também me leva à pergunta "Por que você quer fazer isso?" Embora você possa ter scripts PHP que exijam uma versão mais antiga do PHP, não houve uma atualização em um muito tempo que tenha quebrado scripts PHP, na minha experiência (eu executo um servidor web que hospeda várias centenas de sites). Como tal, você estaria executando uma versão perigosamente insegura do PHP em seu servidor. Você tem certeza que quer fazer isso?