Sim, você precisa do yasm para construir x264.
Infelizmente eu não posso orientar a respeito de construir janelas - mas não pode ser muito diferente do Linux. A única coisa é que eu não sei como o x264 ou outro, como libfdk_aac se conectar. No linux eles são construídos separadamente e instalados separadamente, mas dizer --enable-libx264 no ./configure é bom o suficiente para conectar os dois fornecendo o suporte dentro do ffmpeg.