A pasta temporária é para coisas temporárias. Se os arquivos estiverem em uso, sua exclusão falhará. Se eles não estiverem em uso, exclua-os.
Estou excluindo o conteúdo da pasta temporária desde os dias do Windows 95 sem efeitos negativos. Na verdade, eu costumava ser um administrador de domínio e o tinha configurado para que o script de logon de domínio apagasse o pasta temporária todos os dias quando um usuário efetuou login.
A razão para o acúmulo de lixo é que existem muitos, muitos programas mal-escritos / mal-comportados que não fazem um trabalho bom o suficiente de limpar sua porcaria.
Excluir. Lembre-se de usar a tecla SHIFT-DELETE ao excluir, de forma que elas sejam realmente excluídas, em vez de ir para a lixeira.
(Costumava ser o caso do MS Word, em particular, era um pouco sensível ao número de arquivos temporários em execução e iria correr mais devagar e com menos estabilidade. Provavelmente não é mais o caso com versões mais modernas, mas era um das razões que eu usei para religiosamente limpar a pasta temp.)