Você certamente pode formatar um volume lógico LVM com BTRFS e ter o grupo de volumes LVM em um contêiner LUKS.
MAS , e isso é muito importante, você deve evitar a criação de um instantâneo LVM do referido volume lógico. E, no caso de você criar uma captura instantânea LVM, NUNCA deve permitir que os volumes lógicos de origem e captura instantânea sejam ativados ao mesmo tempo.
Do NOT
make a block-level copy of a Btrfs filesystem to another block device... use LVM snapshots, or any other kind of block level snapshots... turn a copy of a filesystem that is stored in a file into a block device with the loopback driver...
... and then try to mount either the original or the snapshot while both are visible to the same kernel.
Why?
If there are multiple block devices visible at the same time, and those block devices have the same filesystem UUID, then they're treated as part of the same filesystem.
If they are actually copies of each other (copied by dd or LVM snapshot, or any other method), then mounting either one of them could cause data corruption in one or both of them. - BTRFS gotchas
A criptografia com o BTRFS não é diferente da criptografia com outros sistemas de arquivos; É transparente para o sistema de arquivos porque é manipulado pelo LUKS.