Criado a partir de aqui : em 10.4 e acima você pode alterar o formato usado para a imagem da captura de tela editando algumas opções ocultas. Abra o Terminal e digite:
defaults write com.apple.screencapture type image_format
killall SystemUIServer
Em que image_format
pode ser um dos seguintes: jpg, tiff, pdf, png, bmp ou pict. O artigo menciona "entre outros" para que outras opções de formato também sejam possíveis.
Então, no seu caso:
defaults write com.apple.screencapture type jpg
killall SystemUIServer
você receberia capturas de tela JPEG em vez de PNG.
A resolução ou qualidade da imagem não parece ser configurável. Tenho certeza que você obtém uma captura de pixel 1: 1. Por exemplo, acabei de tirar uma captura do Cmd-Shift-3 do meu desktop do iMac e a informação do arquivo está me dizendo que a imagem tem 1900 x 1200 pixels - exatamente o mesmo tamanho da minha resolução de tela.