Antes de tentar limpar essa pasta, é necessário considerar que os arquivos dessa pasta podem ser usados por determinados aplicativos .Net. Dito isto, você deve verificar se existe algum aplicativo .Net que não esteja sendo limpo corretamente (talvez um programa auto-programado ou de terceiros).
Você também deve considerar uma reinicialização do servidor porque isso deve fazer com que os processos terminem e o Windows limpe esse diretório pelo menos parcialmente.
Esta pasta pode aumentar de tamanho devido à instalação de software e às atualizações que não estão sendo limpas corretamente. No entanto, ALGUM aplicativo pode usar arquivos nessa pasta e você não pode confiar nesses aplicativos para impedir que os arquivos sejam excluídos, o que pode causar mau funcionamento.
Limpar a pasta deve ser a última solução, porque ela está apenas combatendo os sintomas e não o motivo que levou a pasta a crescer tão grande.