Você pode usar o seguinte:
open -n /Applications/Firefox.app --args -no-remote -P UserName
-n significa que uma nova instância do aplicativo é iniciada, mesmo se já houver uma aberta. Tudo após --args está sendo passado como argumentos para o aplicativo.