Para desenvolver um novo projeto do zero, eu usaria o 5.4. Ele terá uma vida útil muito maior do que a versão 5.3 ou anterior.
Para implantar um projeto existente, incluindo qualquer código PHP de código-fonte aberto que você baixou da Internet, eu usaria o PHP 5.3. A razão para isto é que o 5.4 tem alguns lugares onde a compatibilidade com versões anteriores foi quebrada , e alguns existentes Os scripts PHP precisarão de atualização para serem compatíveis com o 5.4. Em alguns casos, o pacote teria que ser completamente refatorado para trabalhar com 5.4.
Veja o guia de migração do PHP 5.4 para todos os detalhes.