Não, não realmente. Não importa o que você faça, o processo ainda terá que tocar em todos os arquivos e diretórios sob aquele ponto para fazer a mudança (menos os que têm a herança desativada). Para um diretório de 4,7 milhões de arquivos, isso pode levar horas. Eu sei disso por experiência.
A maneira mais rápida de fazer isso é no console do servidor. Você pode obter um desempenho melhor do smidge usando uma ferramenta de linha de comando para fazer isso, mas não muito mais rápido.