Esta não é uma resposta "completa", mas eu tive o mesmo problema com o BTRFS RAID 10. Você tem que coloca o array online em modo degradado antes que você possa remover um dispositivo com falha completa .
btrfs device delete is used to remove devices online. It redistributes the any extents in use on the device being removed to the other devices in the filesystem.
Caso contrário, você continuará recebendo a mensagem:
ERROR: error adding the device '/dev/sdd' - Inappropriate ioctl for device
Tudo o que posso esperar é que seu comando de montagem esteja incorreto. Você só precisa listar um dos dispositivos em sua matriz e o caminho em que você deseja montá-lo. Por exemplo:
sudo mount -o degraded /dev/sda /raid10
... onde /dev/sda
para mim era um dos dispositivos trabalhando na matriz. Quando tentei listar todos os dispositivos da seguinte forma:
sudo mount -o degraded -t btrfs\
/dev/sda \
/dev/sdb \
/dev/sdc1 \
/dev/sdd \
/dev/sde \
/dev/sdf \
/raid10
... o comando falharia.
Uma vez que você tenha o array montado, apenas execute sudo btrfs device delete missing /raid10
e aguarde por um longo período de tempo enquanto o array se auto-classifica. Se você não conseguir montar seu array, não tenho certeza se há algo que você possa fazer. Talvez duas unidades realmente falharam em vez de apenas uma, ou (mais provavelmente) há mais problemas com o BTRFS RAID 5, uma vez que não existe há tanto tempo quanto o BTRFS RAID 1/10?