Seria útil se você pudesse mencionar qual versão do Java você está usando. Estou executando o Ubuntu 14.04 com o Oracle Java 8. Para testar o manuseio de janelas transparentes, eu fiz o download, compilei e executei o demonstração de janela translúcida em forma :
$ mkdir misc
$ cd misc
$ wget -q https://docs.oracle.com/javase/tutorial/uiswing/examples/misc/ShapedWindowDemoProject/src/misc/ShapedWindowDemo.java
$ javac ShapedWindowDemo.java
$ cd ..
$ java -version
java version "1.8.0_101"
Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)
$ java misc.ShapedWindowDemo
Uma janela transparente foi criada com sucesso, como mostra a captura de tela:
Então, minha primeira sugestão seria tentar o programa com o Oracle Java 8, caso ainda não tenha feito isso.