Eu vejo duas possibilidades:
volume dedicado
Você pode criar um volume (por exemplo, com o LVM) e montá-lo lá. Então a pasta é um sistema de arquivos separado e não pode crescer além do tamanho do sistema de arquivos.
quota
Uma abordagem menos rigorosa (isto é, os usuários poderiam contornar isso): você poderia criar um grupo que é usado somente para essa pasta (que não pode ser facilmente aplicada). Você poderia usar o bit SGID na pasta para criar todos os novos arquivos (apenas os criados, não os movidos) e definir a cota para esse grupo.