O problema foi porque eu estava usando certificados para servidor e cliente gerados por
./build-key-server
Eu senti falta de usar certificados diferentes para clientes gerados usando este comando
./build-key
Depois de gerar os certificados apropriados e colocar na pasta de configuração dos clientes, ele se conectou.