Is it possible to connect those remote servers to private network using OpenVPN for those use cases, I mentioned earlier?
Sim
but I'm not clear which server should be OpenVPN client and which should be OpenVPN server in my example
Escolha um para ser um servidor e fazer os clientes restantes. Você pode até mesmo fazer uma máquina separada no servidor VPN e ter tudo o mais como cliente. O mundo é seu molusco.