Acredito que esse é um problema contínuo com o Google Sync. IIRC existem alguns tickets de suporte e pedidos de ajuda, e a novidade é que a sincronização parece funcionar de forma confiável em apenas uma direção.
Eu realmente queria encontrar uma maneira de fazer o Google Tasks funcionar e, no final, me inscrevi no Remember the Milk. Ele sincroniza. Ele tem todos os recursos que você deseja e tem uma opção gratuita para que você possa se familiarizar. Eu estou na versão paga há dois anos.
A tarefa de repetição e a programação de recursos de tarefas compensam as deficiências do Google Agenda.
Meu conselho é que não perca muito tempo no Google Agenda ou nas Tarefas. A menos que alguém saiba que resolveu os problemas.