Parece que você está vendo uma condição de corrida entre o redesenho do aplicativo depois que a máscara de seleção laranja é aplicada e o conteúdo da tela sendo capturado. Então eu sugiro preencher um relatório de bug. Lembre-se de dizer qual área de trabalho você está executando (Unity 2D, Unity 3D, Gnome 3, etc), pois os recursos de composição podem afetar o comportamento.
Um trabalho seria usar um dos outros dois modos (tela inteira ou janela inteira) e cortar o resultado com um editor de imagens como o Gimp depois. Como esses modos não envolvem o mascaramento de uma área da tela primeiro, você não deve se deparar com esse problema.