Provavelmente você está instalando o jre, pois java -version
está funcionando. Você poderá executar programas de classe java com java. No entanto, para compilar programas java, você precisará do jdk, como sugerido pelo Nattgew . Você pode instalar o openjdk a partir do centro de software ou do terminal usando:
sudo apt-get install openjdk-7-jdk
ou se você precisar do jdk do Oracle, veja esta pergunta: