Em bin
dir, você pode encontrar esses três scripts:
jboss_init_hpux.sh
jboss_init_redhat.sh
jboss_init_solaris.sh
Esses scripts permitem que você execute o JBoss como um serviço. Infelizmente, não tenho idéia se funciona para o AIX, mas talvez você possa usar um desses scripts como ponto de partida para criar o seu próprio. Pelo menos você verá como eles iniciam o JBoss em segundo plano.