Você precisa usar o modo tap do OpenVPN no servidor e nos clientes. Isso permitirá a VPN L2.
Primeiro, você precisa criar uma interface TAP no seu servidor VPN:
ip tuntap add mode tap tap0
Em seguida, você precisa configurar a interface tap0 em seu servidor e adicionar um servidor DHCP ouvindo essa interface.
Em seguida, no OpenVPN, você usa dev tap0 como a interface da VPN.