Nenhuma dessas saídas indica que o sistema de arquivos está cheio.
A saída de btrfs fi df /mnt/r6 parece boa. A primeira linha:
Data, RAID6: total=6.54TiB, used=6.39TiB
Indica que 6,54 TiB foram alocados para dados, e 6,39 TiB desses foram realmente usados. Não não significa que você só tem 6.54 TiB - 6.39 TiB = 0.15 TiB de espaço restante. Você deve ter cerca de 1.82 * (8 - 2) TiB = 10.92 TiB do espaço total disponível para dados e metadados, o que significa que você tem cerca de 10.92 TiB - 6.39 TiB = 4.53 TiB de espaço livre (descontando a quantidade insignificante de metadados sendo usados).
A saída de btrfs fi show está indicando que todas as unidades são igualmente utilizadas e que ainda há muito espaço disponível.
O comando btrfs filesystem usage fornece uma visão geral muito mais agradável de quanto espaço é usado (e quanto permanece disponível), mas infelizmente ainda não suporta o modo RAID6.
Ainda assim, a saída do antigo df também deve indicar que você tem muito espaço restante, embora possa estar um pouco errado. Mas se df está lhe dizendo que você tem vários TiB livres, então você não está perto de estar cheio.
A operação de redimensionamento está presumivelmente falhando porque o btrfs já recebeu as unidades completas para trabalhar, portanto não há espaço para expansão.