Acho que não é necessário não instalar o Java. Mesmo que existam poucos aplicativos comuns que exigem Java, você sempre tropeçará em algo. Você não está perdendo nada por ter - é como instalar o Flash ou o Silverlight.
Se você está apenas preocupado porque as notícias recentes de que o Java não é seguro, na verdade é apenas para Java Applets. E eu não sei muito sobre o site que você quer usar, mas eu tenho certeza que não envolve isso, porque eles são muito raros hoje em dia.
De qualquer forma, é apenas a minha opinião, mas não acho que instalar o Java seja um problema. Você pode desativar Java Applets com muita facilidade, basta google-lo. No Firefox, por exemplo, existe este artigo:
Mas é claro que você pode reativá-lo a qualquer momento para sites confiáveis, é muito mais fácil do que instalá-lo novamente.