Existem vários Linuxes minimalistas onde você pode simplesmente instalar o que precisa. O Ubuntu Server provavelmente seria mais fácil de configurar, mas se tudo o que você quer é Java, você provavelmente poderia fazer o Arch rodar assim facilmente. Basta fazer uma instalação básica e, em seguida:
pacman -Sy jdk jre
Você pode fazer com que a inicialização real seja rápida e leve, já que você não precisaria de daemons em execução, exceto rede (e provavelmente sshd).