Você pode definir o atributo somente de anexação. De man chattr
:
A file with the 'a' attribute set can only be open in append mode for
writing. Only the superuser or a process possessing the
CAP_LINUX_IMMUTABLE capability can set or clear this attribute.
Para diretórios, isso significa que novas entradas podem ser criadas, mas nenhuma entrada pode ser renomeada ou excluída:
$ mkdir foo
$ sudo chattr +a foo
$ touch foo/bar
$ echo a > foo/bar
$ rm foo/bar
rm: cannot remove 'foo/bar': Operation not permitted
$ mv foo/bar foo/baz
mv: cannot move 'foo/bar' to 'foo/baz': Operation not permitted
Esse atributo não herda, portanto você terá que aplicar isso a todos os subdiretórios recursivamente:
sudo find . -type d -exec chattr +a {} +