Se você usar abra a partir do linha de comando você pode passar um parâmetro para iniciar uma nova instância:
open -n /Applications/TextEdit.app
Outra maneira é encontrar o executável Unix no pacote de aplicativos e executá-lo:
/Applications/TextEdit.app/Contents/MacOS/TextEdit &