Um programa chamado xsplit está em beta e captura para o H.264 usando x264. Está atualmente em beta, mas funciona bastante bem. link
Eu tentei usar o CamStudio, mas ele não suporta o x264vfw64, e também não consegui fazê-lo funcionar com o VirtualDub.
Existem outros programas que podem capturar a tela inteira usando x264vfw64 para codificar em H264.
Estou no Windows 7 de 64 bits.
Estou procurando por algo de código aberto ou pelo menos livre
Um programa chamado xsplit está em beta e captura para o H.264 usando x264. Está atualmente em beta, mas funciona bastante bem. link