Isso deve ser bastante fácil de configurar
- Faça login no Google Agenda
- ir às configurações
- Clique em agendas
- Selecione o nome da sua agenda, provavelmente seu endereço de e-mail
- Confira a seção de links privados, você deve conseguir usar esse URL no calendário do Windows
Espero que isso ajude