Tenho medo de ser possível definir o limite máximo de tamanho de arquivo para todo o sistema (para cada arquivo).
ulimit -f <size_in_blocks>
Você também pode limitar o tamanho total de um diretório montando o diretório do sistema de arquivos virtual (um arquivo):
dd if=/dev/zero of=~/disk_image count=<size_in_blocks>
mkfs -t ext3 ~/disk_image
mount -o loop=/dev/loop0 ~/disk_image <directory>