Especifique também a opção java.rmi.server.hostname , para que aponte para o nome DNS público do seu servidor EC2:
-Djava.rmi.server.hostname=your.public.dns
Isso foi suficiente para fazê-lo funcionar para mim, mas para mais dicas, experimente este post: Monitoramento JMX no Amazon EC2