Eu não converti do RAID 1 para o RAID 5 no BTRFS, mas fiz outras conversões do BTRFS e, de acordo com a documentação, elas são igualmente fáceis.
É tão simples quanto
btrfs balance start -dconvert=raid5 -mconvert=raid5 /mnt
Não é difícil, mas levará algum tempo (muitas horas).
Sim, o RAID5 ainda está marcado como experimental. De acordo com a documentação mais recente que posso encontrar, o scrub ainda não funciona com o RAID5, portanto, qualquer erro de dados não pode ser corrigido.
Uma outra abordagem a ser considerada: com o BTRFS RAID1, você pode usar três unidades de 3 TB para obter um espaço útil de 4,5 TB. Sim, você pode fazer o espelhamento com um número ímpar de unidades. O BTRFS não espelha discos, espelha blocos. Assim, por exemplo, alguns arquivos serão espelhados nas unidades 1 e 2, alguns em 2 e 3 e alguns em 1 e 3.
Você pode até ter drives de tamanhos diferentes com o BTRFS RAID1. Eu tenho um conjunto com uma unidade de 2 TB e três unidades de 1 TB, dando espaço utilizável de 2,5 TB.
O BTRFS RAID1 é muito legal.