Parece que o JBoss realmente recarrega a configuração do log4j automaticamente. Mas ao contrário dos outros arquivos hot-pluggable (como deploys ou outras configurações do servidor), isso não acontece instantaneamente, mas em um intervalo de 60 segundos.
Acho que fui rápido e impaciente para perceber isso.
Mais algumas informações sobre o assunto: link