Para usar o OpenVPN, você precisa de uma maneira de acessar seu VPS, ou seja, ter um IP público. O VPS tem um IP público, a questão é: esse endereço IP público é exclusivo para você ou é compartilhado?
Se for compartilhado, em suas circunstâncias, provavelmente não há nada a fazer, a menos que você entre em contato com o seu provedor de VPS e pergunte se você pode ter um IP público para si mesmo.
Se o endereço IP é atribuído a você e somente a você, você pode instalar o OpenVPN, mas em termos de conectividade ele não adicionará nenhum valor extra, pois você pode acessar diretamente o endereço IP público, que eu acredito que você esteja pedindo ( pode aumentar a segurança, no entanto).
EDITAR
Uma alternativa (mas não testada e também dependente da sua configuração) você poderia obter conectividade entre as duas máquinas, instalar o servidor OpenVPN na sua máquina e tornar o servidor VPS um cliente VPN.
Observe que essa abordagem também depende dos fatores definidos acima: Em sua casa, você precisa ter certeza de que não tem um IP compartilhado, precisa abrir portas VPN no roteador etc.
Isso também precisaria de um IP estático em sua casa, mas se o seu ISP não atribuir IPs públicos estáticos, você poderá facilmente obter um com um serviço DNS dinâmico gratuito, como FreeDns.io , noip.com , ou qualquer outro ...