Relacionado a Endurecimento do GCC para 16.10 que adicionou --enable-default-pie a gcc . Você pode verificar exibindo a saída de gcc -v .
Tente adicionar --enable-pic ao x264 configure (não é necessário usar --enable-shared se você estiver seguindo o guia ).