O que você deve fazer em seguida depende do que você deseja fazer. Eu acho que quando você quiser desenvolver algo, você certamente usará uma IDE muito boa do java. Nesse caso, o IDE precisa conhecer o local do seu SDK para que ele possa usar o compilador e as bibliotecas. No IDEA, você só precisa dizer onde descompactou o zip do SDK e configura tudo para você. Na minha máquina, eu tenho todos os SDKs java no meu diretório home e o IDEA e parece com o seguinte
Quando você usa outro IDE como o NetBeans ou o Eclipse, a maneira de informar o IDE sobre o SDK pode ser um pouco diferente, mas a abordagem geral é a mesma.