Sim, a maioria das vulnerabilidades está relacionada ao plug-in webbrowser. Na maioria dos casos (todos?) Você deve (ativamente) executar códigos java maliciosos que exploram essas fraquezas.
Do ponto de vista de um invasor, isso é feito com mais facilidade colocando esse código na Web e atraindo você para ele, para que você execute esse código.
Uma abordagem mais sutil pode ser fazer upload de algum código java em seu aplicativo e fazer com que ele execute esse código (explorando outras deficiências como injeções de código).
Portanto, se você não tiver um aplicativo em execução, exposto externamente, que possa executar código, nem ter um navegador instalado, você deve estar bem seguro.