Não tenho certeza de como limitar o tamanho de um único diretório. Você poderia criar um novo usuário, atribuir uma cota a eles e depois executar o processo com esse usuário, mas acredito que não seja isso que você procura.
Como você insinua, você pode criar um sistema de arquivos como um "arquivo" e montá-lo como o diretório de saída para este aplicativo. Isso garantiria que nunca passasse para o seu sistema de arquivos regular:
$ dd if = / dev / zero de = ~ / disk_image_file count = $ size_in_blocks
$ mkfs -t ext3 -q ~ / disk_image_file
$ mkdir -p ~ / mnt / app1 / log
$ mount -o loop = / dev / loop0 ~ / disk_image_file ~ / mnt / app1 / log