Você não pode usar um armazenamento de chaves com praticamente nada que não esteja escrito em Java, até onde eu sei. Também não é possível extrair a chave com keytool
.
Eu recomendaria usar algo como link ou as easy-rsa
-tools incluídas no OpenVPN para gerar uma nova combinação de chave / certificado, que por padrão será gerada em um formato legível por nginx.
Se for importante extrair a chave do keystore, há um guia no link sobre como extrair isso.