Depende do que você quer gravar.
Para jogos , tente Dxtory . Ele pode codificar seus vídeos diretamente (ao contrário do FRAPS).
Para desktop , tente o Camtasia Studio . Pelo menos eu usei este, ele tem excelentes recursos de edição e codificação de vídeo. Mas há muitos gravadores gratuitos por aí também.