Você está absolutamente certo.
Todo o ethos da PKI é que a chave pública (ou certificado) contém tudo o que é necessário para uma terceira parte (seu servidor VPN nesta instância) para validar sua autenticidade. A chave privada é necessária apenas pelo cliente para assinar esses desafios de validação.
Embora possa tornar o processo de inscrição de novos usuários um pouco mais demorado. Ao fazer com que cada cliente gere sua própria solicitação de assinatura de chave privada e certificado, você está restringindo a distribuição das chaves privadas e aumentando muito a segurança.
Uma solução melhor ainda é ter as chaves privadas geradas por usuários / clientes em tokens de dois fatores . Quase todos contêm mecanismos RSA a bordo, que permitem gerar a chave privada de forma segura e estipular que ela nunca pode deixar o token.