I'm using ... latest version of Java from Sun
Você instalou a partir do site da Sun ou do repositório do Ubuntu (sun-java6-jre)?
Se você instalou a partir do repositório, talvez ainda esteja usando a versão padrão do Java, o que pode ser bastante lento.
Executar:
sudo update-alternatives --config java
Isso mostrará quais versões estão instaladas e qual versão é usada por padrão.
Se a versão da Sun não estiver selecionada, selecione-a fazendo:
sudo update-java-alternatives --set java-6-sun