Depende de quanto você deseja se abrir para possíveis vulnerabilidades.
O uso da VPN oferece uma camada extra de proteção, mas exige trabalho adicional para configurar dispositivos. Pessoalmente, estou feliz em permitir o IMAPS da Internet, desde que haja uma boa política de senhas.
Manter a VPN é uma opção e, se você precisar do mais alto nível de segurança, mantenha-a. Caso contrário, não vejo por que você não deveria abri-lo.
Pelo menos você está errando do lado da cautela - sempre uma boa característica!