Sim, você precisa criar certificados para seus clientes no servidor. O site do OpenVPN oferece um tutorial sobre como fazer isso: link
Diretamente seguindo a seção sobre PKIs, o tutorial explica como criar configurações de servidor e cliente. Deve fornecer tudo que você precisa.
O how-to está bastante envolvido, mas a ideia básica é configurar uma autoridade de certificação para uma infraestrutura de chave pública em torno do seu serviço de VPN. Em seguida, você pode criar certificados para seus clientes e transferir os arquivos de certificado para o seu cliente. Depois disso, você cria um arquivo de configuração para o seu cliente VPN. AFAIK, Tunnelblick oferece uma interface gráfica para inserir os dados apropriados.