Problem is that I want to limit (group of) users to specific amount of data on the subvolume without messing with quotas, etc. - At the moment I just give them access to a LVM logical volume, and all works well. Maybe I am thinking about using a wrong BTRFS feature as I am not a BTRFS expert... I will rephrase the question and remove "subvolume" from it.
Eu acredito que você está exagerando nisso.
Eu não estou completamente familiarizado com o Btrfs, mas acredito que eu esteja familiarizado o suficiente com o ZFS, do qual o Btrfs tem inspirado muito para fazer cara e coroa disso.
Em ambos, você trabalha com um blob de armazenamento, que é subdividido em sistemas de arquivos que podem ter várias propriedades configuradas. Por exemplo, cotas para o sistema de arquivos . O Btrfs chama isso de "subvolumes".
Basta criar um subvolume, definir a cota para o quanto você deseja que seja possível aumentar (semelhante ao tamanho do volume lógico do LVM) e, se tudo estiver configurado para suportar cotas no Btrfs, faça algo como btrfs qgroup limit 1G <path>/<subvolume>
. Veja a página de casos de uso do Wiki btrfs sobre a implementação de cotas para mais detalhes sobre o que fazer se isso não funcionar imediatamente.