Se você estiver usando aplicativos AWT / Swing, será melhor usar o Java da Sun / Oracle.
Há algum benefício de executar o java da Sun no Ubuntu 10.04 - sobre o openjdk padrão, ou isso é um problema legado?
Algumas aplicações não gostam de openjdk. Por exemplo, tente executar o BlueJ no openjdk.