Você deve, certamente, instalar as atualizações de segurança para a máquina virtual java. Isto, mesmo se você não usar muitos aplicativos Java, manterá seu computador mais seguro contra todas as diferentes vulnerabilidades cobertas pelos diferentes patches de segurança.
Quanto ao software que é executado usando a Java Virtual Machine (JVM), os programas típicos podem ser:
Eclipse (IDE de código aberto para programação)
Azureus (Cliente BitTorrent)
OpenOffice
LibreOffice
NetBeans IDE (outro IDE de programação)
LimeWire
Vuze
MATLAB (Programação Avançada de Matemática)
Lotus Notes (Pacote de E-mail / Produtividade)