--with-libdir=lib64
deve fazer o truque. Acho que você esqueceu de fazer um make clean
após adicionar a configuração --with-libdir
e antes de make compile
.
Acabei de compilar a versão 5.5.2 do php usando phpfarm
e encontrei inicialmente o mesmo problema descrito por você ao usar --with-mysqli=mysqlnd
. A adição de --with-libdir=lib64
AND make clean
corrigiu o problema.