Primeiro, use maiúsculas X as -Xmx e -Xss ; -x é um erro.
Segundo, coloque todas as opções da JVM, incluindo -X e -D e assim por diante, ANTES de -jar jarname se você usar isso, ou de outra forma antes do nome da classe principal. Quaisquer argumentos após o run-jar ou main-class são passados para o programa Java, não interpretados pela JVM.
PS: Eu assumo / espero que você tenha java (e hardware) de 64 bits se você quiser 4G.