O Silverlight não toca seus arquivos sozinho, mas permite que aplicativos confiáveis (assinados digitalmente e aprovados) acessem o sistema de arquivos. A confirmação é mostrada porque não é possível ao Chrome saber quando e por que o acesso ao sistema de arquivos será necessário, por isso é necessário aprovar isso no momento da instalação.
Outro motivo possível é o armazenamento em cache de aplicativos do Silverlight (pode ser semelhante ao cache de miniaplicativos do Java).