Há uma razão para que todos esses utilitários usem a passagem de diretórios recursivos para descobrir arquivos alterados. Não há melhor maneira.
Inotify exists, but does AFAIK not scale to several thousand directories.
Não só isso, mas você tem que ouvir continuamente (digamos, como um daemon) e se você perder uma única atualização, então você tem que verificar novamente tudo.
Ain't there no faster way?
Não, desculpe.
Se você tiver uma ótima ideia, publique-a (mas um site de perguntas e respostas não é o lugar)!