Minha orientação padrão aqui é se você quiser esse nível de isolamento, basta usar duas JVMs.
Não está claro se você se preocupa com conexões TCP ou solicitações simultâneas. A única maneira de limitar um desses é criar um novo ponto de extremidade TCP e atribuí-lo a um novo conjunto de encadeamentos não padrão.
Você poderia mapear o aplicativo especial para um novo host virtual que tenha apenas um alias de host que corresponda à nova porta TCP.
Mas isso só funciona para clientes que se conectam diretamente ao servidor - se você se conectar via Plug-in do WAS, um plug-in WAS gerado nunca tratará essa separação corretamente. Você provavelmente poderia fazê-lo funcionar em um proxy HTTP genérico ou editando strongmente o plugin-cfg.xml.