Você precisa especificar CFLAGS e LDFLAGS extras para incluir os locais extras da biblioteca:
$ configure --extra-ldflags="-L/path/to/extra/lib" --extra-cflags="-I/path/to/extra/includes"
deve fazer isso. Você precisa especificar não a pasta raiz da libx264, mas as pastas dentro dela, onde a biblioteca compilada e os arquivos incluídos são, respectivamente.
Você pode especificar -L e -I várias vezes dentro das aspas para especificar vários locais extras.