O JDK vem com um JRE que pode ser instalado apenas copiando-o para a pasta de destino. Isso elimina todas as entradas do registro etc. criadas pelo instalador. Como nenhuma configuração do sistema foi modificada, você precisará fornecer explicitamente o caminho do executável Java ao iniciar um aplicativo Java.
Há também um Leia-me no arquivo de diretório do JRE que discute os arquivos obrigatórios e opcionais, para que você possa remover alguns arquivos que não são necessários (a desvantagem: isso é tedioso).