Eu não acho que é configurável por aplicativo, apenas por arquivo ou globalmente - a menos que o aplicativo em si inclua essa funcionalidade, como o TextEdit etc.
Não há nenhuma opção dentro do próprio Grab - veja The Guia completo para as capturas de tela do Mac OS X
A extensão está sempre lá, apenas escondida. Se você copiar para um arquivo de texto, e-mail ou outro computador executando o Windows, a extensão reaparecerá.