O problema foi openssl, bem, eu instalei o openssl 0.9.8 de fonte :
Mova para /usr/src
e compile-o sem man pages devido a um erro:
./config --prefix=/usr/local/openssl --openssldir=/usr/local/openssl no-asm -fPIC
make
make install_sw
Então eu compilo php
com essas opções:
./configure --with-openssl=/usr/local/openssl --with-openssl-dir=/usr/local/openssl --with-curl --enable-ftp --with-ldap --with-apxs2 --enable-bcmath --with-bz2 --enable-calendar --enable-exif --enable-mbstring --with-mhash --enable-shmop --enable-soap --enable-sockets --enable-sysvmsg --enable-zip --with-zlib
make
ATUALIZAÇÃO: funciona também para 5.6.28