--with-libdir=lib64 deve fazer o truque. Acho que você esqueceu de fazer um make clean após adicionar a configuração --with-libdir e antes de make compile .
Acabei de compilar a versão 5.5.2 do php usando phpfarm e encontrei inicialmente o mesmo problema descrito por você ao usar --with-mysqli=mysqlnd . A adição de --with-libdir=lib64 AND make clean corrigiu o problema.