Se você usar a opção -c para o rsync, ele calculará as somas de verificação e só fará a transferência se o arquivo tiver sido alterado. Isso evitará que o rsync aumente ctime , que aparentemente é o que o Google Drive usa para descobrir o que atualizar.
Separadamente, isso parece um erro de drive: por que eles não estão usando mtime ? E por que eles estão enviando se o hash não mudou?