Certamente as instruções padrão para instalar o Oracle Java:
especifique no ponto 4 da seção de instalação:
Delete the .tar.gz file if you want to save disk space.
Outra opção, se o espaço em disco não for um problema, é arquivar o arquivo de instalação caso a reinstalação seja necessária em um estágio futuro ...