Eu não acho que você possa fazer isso diretamente durante a gravação no QuickTime, mas você pode fazê-lo com o QuickTime e o iMovie.
Eu obtive o efeito desejado por
- Fazendo uma gravação em tela cheia
- Abrindo a gravação no iMovie
- Usando a ferramenta "Cortar, Ken Burns e rotação" no menu do Windows para cortar apenas a região que queria mostrar.
- Exporte o iMovie para o formato desejado (no menu Compartilhar do iMovie)