Você está executando isso em um servidor sem servidor x? O instalador tenta inicializar uma janela do SWT para uma GUI.
Tente executar o comando de instalação com ./runInstaller -mode=console
, talvez isso ajude - alguns instaladores do oracle têm essa opção, esperançosamente também.