Eu não recomendaria ir para versões anteriores do PHP, mas se você não tem outra opção, simplesmente adicione um instantâneo Debian ao seu repositório e então instale o número da versão.
Você pode ver uma explicação completa aqui: link
Você pode encontrar todas as informações de que precisa aqui: link
Mas se você é preguiçoso (como eu), basta copiar e colar o seguinte:
Adicione as listas de fontes:
deb http://snapshot.debian.org/archive/debian/20120221T041601Z/ unstable main
deb-src http://snapshot.debian.org/archive/debian/20120221T041601Z/ unstable main
Agora atualize o apt, mas ignore as datas de expiração:
apt-get -o Acquire::Check-Valid-Until=false update
Agora você pode passar o número da versão que você precisa 5.3.10-2 neste caso
apt-get install php5=5.3.10-2
Um pouco mais de informação se você estava pensando em como eu cheguei a isso, se você encontrar o pacote que você precisa em um instantâneo neste caso aqui: link dá-lhe a data em que foi adicionado pela primeira vez 2012-02-21 04:16:01 então você simplesmente adiciona isso na lista de fontes de snapshot assim:
http://snapshot.debian.org/archive/debian/yyyymmddThhmmssZ
No caso acima, isso se traduz em:
deb http://snapshot.debian.org/archive/debian/20120221T041601Z/