Tive a mesma pergunta quando me deparei com a sua aqui.
Depois de algumas pesquisas, o melhor que posso encontrar é o da Oracle:
Why don't I see the option to select Do not show this again for this app in the security dialog for an unsigned application? Starting with Java 7 Update 40, the option to select Do not show this again for this app is no longer available. Unlike previous versions a user cannot suppress the security dialog for an unsigned application and will have to select the option, I accept the risk and want to run this app, each time to run the unsigned application.
Fonte: link
Antes do Java 7u40, havia uma caixa de seleção que dizia: "Não mostrar novamente para este aplicativo" ... o que faria o diálogo não aparecer novamente, a menos que os certificados fossem alterados ou que uma nova versão do applet fosse implantada.
Curiosamente, as notas de lançamento específicas não mencionam essa alteração: link
Como esse Java 8 pré-datado, é provável que você estivesse executando uma versão mais antiga do Java 7 e, em seguida, começou a notar esse comportamento quando atualizou para o Java 8.
Eu examinei as opções do Painel de Controle e não parece haver uma maneira de contornar isso.
Então, se eu entendi corretamente, é inevitável ter essa mensagem toda vez que o aplicativo é iniciado.