Você provavelmente está tendo problemas com a nova biblioteca OpenSSL. Você pode tentar baixar e compilar o link do OpenSSL 0.9.8zg e usar essa versão. Mas eu prefiro recomendar que, se você absolutamente precisa usar o PHP 5.3, use uma versão Debian LTS (squeeze) ou Ubuntu Precise, pois elas têm atualizações de segurança além das versões fornecidas pelas equipes de segurança Debian e Ubuntu.