O comando btrfs balance se aplica a sistemas de arquivos como mostrado pela ajuda, mesmo que o parâmetro "filesystem" seja opcional:
# btrfs balance start --help
usage: btrfs [filesystem] balance start [options] <path>
Até que haja um comando "btrfs subvolume balance", suspeito que esse recurso não exista.
(Acima baseado no Btrfs Btrfs v0.19)