VPN is not a solution since all connections, regardless of its destination, is forwarded to the server.
Isso não é verdade. Se você configurar o cliente VPN para definir o servidor como o gateway padrão, tudo passará pelo servidor. Se você não fizer isso, não vai. Independentemente do protocolo VPN, é perfeitamente possível ter uma conexão em que apenas (por exemplo) 10.0.0.0/8
seja roteado pela conexão VPN.
No entanto, se você tiver apenas um servidor, a maioria dos protocolos VPN não será muito útil devido ao problema exato oposto - as comunicações com o servidor VPN obviamente não podem passar pela VPN.
IPSec no modo de transporte funcionaria muito bem neste caso; é praticamente projetado para proteger todo o tráfego diretamente entre dois hosts. Para Linux, instale o strongSwan ou o LibreSwan. Para o Windows, navegue pelo console "Firewall do Windows Avançado".