Eu tenho o mesmo problema. Não tenho certeza sobre a causa, mas consegui desfragmentar e compactar especificando um subdiretório de cada vez, por exemplo
sudo btrfs filesystem defragment -r -clzo /var
Observe que fiz isso em um sistema de arquivos em execução. Além disso, é a opção -r que aciona o problema (seja desfragmentando / ou um subdiretório)