JMF é antigo e praticamente abandonado, mas suas bibliotecas ainda estão disponíveis para download e totalmente funcional.
Sim, você pode usar o freeware baseado em JMF chamado krut . Ele funciona bem no Windows 7 de 64 bits (eu não testei em outras máquinas). Você seleciona a área da tela que deseja capturar e o programa despeja os pixels em uma lista de quadros jpeg e os codifica em formato mov. O programa tem suas limitações, mas é perfeitamente competente dentro delas. Para obter áudio também, ative "wave out-mix" no sistema Sounds / Recording no Control Panel (ou qualquer que seja o sistema analógico no seu sistema).
O código fonte do krut também pode ser baixado, mas necessariamente não pode incluir o código proprietário Sun para as classes da biblioteca JMF. Eu brinquei com ele usando o NetBeans IDE 7.1.1.
Para o código-fonte no nível dos binários da JMF, experimente as fontes abertas disponíveis em FMJ .