Você pode desmarcar as agendas do Gmail que não deseja. Isso desativará as notificações, mas não desativará a sincronização do AFAIK.
Eu apenas testei adicionando um aniversário falso ao calendário de aniversários. Eu configurá-lo para alarme / notificar-me às 3:18 e isso não aconteceu. Outro evento de teste em um calendário diferente do Gmail funcionou.