A maneira mais fácil de instalar é a partir do terminal usando o seguinte comando:
sudo apt-get install network-manager-openvpn-gnome
Você precisará reiniciar seu gerenciador de rede:
sudo service network-manager restart
Para configurar uma nova conexão, você pode ir para Configurações > Rede e, em seguida, clique no símbolo de mais no canto inferior esquerdo e selecione VPN, na tela seguinte, você será solicitado a selecionar o tipo de VPN e de lá você pode selecionar openvpn e completar os detalhes para configurar a conexão.