O que você quer é um certificado intermediário em vez de um certificado raiz. Ele é assinado por um certificado que o java reconhecerá (presumivelmente distribuído pelo fornecedor do sistema operacional), portanto, o aplicativo java pode apenas fazer o download do certificado intermediário necessário, se estiver faltando. fazer o download via http é bom, pois você validará se o conteúdo foi assinado por um certificado raiz conhecido.
Se você quiser distribuir o certificado de fora do seu aplicativo, você deseja uma ferramenta de gerenciamento de configuração. por exemplo. Puppet, Chef, Ansible e Salt são todas as opções populares.
Se esta é a única coisa que você vai gerenciar, então o Ansible provavelmente será o mais simples de configurar, mas eu recomendo que você gaste um pouco de tempo para pensar se você deve fazer um uso mais completo de gerenciamento de configuração em seu ambiente.