Obtenha o certificado do servidor assinado por uma CA e, em seguida, não o faça.
Se você realmente não pode fazer isso, o que você realmente deveria fazer, o Java instala seu próprio arquivo cacerts quando é atualizado, então você terá que lidar com isso.