Você precisa fazer isso:
A diretiva do servidor específico é:
push "redirect-gateway def1"
Basicamente, o servidor precisa enviar a configuração de roteamento para o cliente. Essa configuração de roteamento alterará a rota padrão do cliente, de forma que o tráfego não local passará pelo túnel VPN, em vez da LAN.
Note que você precisa ter o cliente OpenVPN sendo executado com privilégios administrativos para que isso funcione. Caso contrário, o programa cliente não poderá alterar a tabela de roteamento da máquina Windows.