O diretório inode em si só muda quando o número de conteúdos no diretório é alterado. Modificar arquivos que já existem não altera o diretório. O que é consistente com o comportamento que você observou.
Se você deseja rastrear se algum arquivo de uma árvore foi modificado em um determinado momento, você precisará percorrer todos eles com algo parecido com o comando find
.