Primeiro, certifique-se de que seu kernel e o espaço de usuário do BTRFS estejam atualizados.
De acordo com a FAQ do BTRFS , você não pode redimensionar o tamanho do bloco de metadados. Você pode, no entanto, tentar executar btrfs balance start < ponto de montagem > que irá realocar os dados em todo o disco e, como efeito colateral, possivelmente liberar espaço não alocado.
Se isso não funcionar, talvez seja necessário fazer backup dos dados e recriar o sistema de arquivos. (Dê uma olhada em this para mais informações.)