AFAIK não há opções de linha de comando para especificar uma região em bytes. Todos os parâmetros devem estar em pixels.
Na página do manual recordMyDesktop:
Para especificar uma região para gravação, você pode digitar isso:
~$ recordmydesktop -x X_pos -y Y_pos -width WIDTH -height HEIGHT -o foo.ogv
onde X_pos e Y_pos especificam o deslocamento em pixels a partir do canto superior esquerdo canto da sua tela e WIDTH e HEIGHT o tamanho da janela a ser gravada (novamente em pixels).
Há também uma opção para especificar a taxa de quadros:
-fps N(number>0.0)
Where N is a positive number denoting the desired framerate.