Por fim, resolvi esse problema apenas comente a seguinte linha no Makefile
#ifndef NO_LIBPERL
#PERL_EMBED_LDOPTS = 'perl -MExtUtils::Embed -e ldopts 2>/dev/null'
#PERL_EMBED_CCOPTS = 'perl -MExtUtils::Embed -e ccopts 2>/dev/null'
#endif
Parecia que o MExtUtils :: Embed gerava o LDFLAGS errado para libperl Eu também descobri que o pacote perl do slackware apenas fornece libperl.a lib estática