Fazemos isso muito na minha empresa.
A principal coisa que você provavelmente usará é "find" (man find). Por exemplo:
find /home -type f -ctime +14 -exec rm -f {} \;
excluirá todos os arquivos de / home para baixo que foram criados com mais de 14 dias. Você pode especificar ainda mais opções para encontrar para aprimorar os arquivos que você está segmentando.
Deixe-me saber se você precisa de mais informações ou ajuda para encontrar, mas fará tudo o que for necessário.