Já experimentou o GTK-Recordmydesktop? É um front-end para isso.
Com ele (provavelmente também com a versão de linha de comando) você pode selecionar uma área da tela para capturar, muito facilmente. (tutorial aqui ) (você pode fazer o mesmo commandline, especificando os parâmetros offset e width / height, mas um pouco mais tedioso,
No problema do tamanho do arquivo. Você pode diminuir o controle deslizante de qualidade no GTK GUI. (há um parâmetro de linha de comando para isso), marque "codificar em tempo real" e desmarque a compactação zero. E faça um pequeno teste para encontrar a qualidade mais baixa que você pode usar. FPS, quadros por segundo capturados, também variam o tamanho do arquivo, mas pode acabar em um movimento "saltitante" ... Outra opção é apenas gravar tudo, então use estas ferramentas para dividir o arquivo.
Obviamente, acho que apenas pausar o arquivo e reiniciá-lo não é uma opção ...
BTW, o software realmente salva arquivos temporários, eu acho que em pedaços de 500MB, chamando-os img.out ou algo parecido. Com uma função "reparação" recente, você pode recuperar partes da sessão com falha. Pode ser que isso seja uma forma de recriar os pedaços ... Um ponto de partida, pelo menos.